﻿■ > г Mihaela Costin (coordonator) •’i e ia procesarea de imagini către vederea artificială Progrese cognitive - luL\Un | \AfK*ALb (МММН I I i : ш> •V S ВД! ' V î «жми tot, ' De la procesarea de imncrini imagini către vederea artificială rogrese cognitive CUPRINS Cuvânt-înainte (Mihaela Costin) Aspecte cogmhve ш indexarea automată a conținutului audiovizual (Philippe Joly) Tehnologii de asistare a persoanelor cu deficiente vizuale (Christophe Jouffrais) Dispozitive imagistice dezvoltate de Centrul de Excelență Secolul Grupul Universității Shizuoka O introducere în nanovision (Hidenori Mimura) Stabilirea corespondențelor între pixeli în stereoviziunea binoculară (Alain Crouzil, Guillaume Galeș, Sylvie Chambon) Tehnici de reconstrucție D din imagini multiple (Florin Rotaru, Silviu Bejinariu, Simona Pescaru) Metode de analiză și extragere a caracteristicilor esențiale din imaginile digitale (Adrian Ciobanu) De la percepția viziuală către detecția automată a textui п (Mihaeia Costin și Anca Ignat) Percepție, reprezentare și limitele posibilitățiloi dc cunoaștere (Dan Gabriel Sîmbotin) index K’ tc despre autori llf From imago processing to artificial Vision Cognitive advances SUMMARY Foreword (Mihaela Costin) Cognitive Issues in Automatic Audiovisual Content Indexing (Philippe Joly) Assistive Technologies for the Visually Impaired Persons (Christophe Jouffrais) и aging Devices Developed by the st Century COE Group in Shizuoka University An Introduction to Nanovision (Hidenori Mimura) Pixel Matching in Binocular Stereo Vision (Alain Crouzil, Guillaume Galeș, Sylvie Chambon) D Reconsruction Techniques from Multiple Images (Florin Rotaru, Silviu Bejinariu, Simona Pescaru) Methods of Analysis and Extraction of Essential Digital Image Features (Adrian Ciobanu) From visual perception to automatic detection of texture (Mihaela Costin and Anca Ignat) Perception, Representation and Limits of Knowing (Dan Gabriel Sîmbotin) Index Notes abouts authors ( uv ânt-înainte Motto: „Everyone takes the limite of his own vision for the lirnits ofthe world ” Arthur Schopenhauer yvc jJ â la procesarea de imagini către vederea artificiala* luând în calcul х eal aie m ultimele decenii, cartea ne poartă logic printr-un număr de v' ceicetare modeme, inedite, cu o deosebită aplicabilitate practică și didactică ScbieCide abc J iie, deși variate, au un loc comun în termenul generos, relativ dificil traductibil, Vision ?e la viziunea ideatică, la percepția vizuală, asistarea deficiențelor vizuale idto: nanometrice prin nanovision, la vederea artificială, sau computerizată, utilizarea dife a a termenilor în traducerea noțiunii vision, se datorează, de fiecare dată, unui alt ccmtexi Tehnologiile moderne de explorări funcționale permit descifrarea structurilor complexe ale cortexului și reușesc să decodifice modalitatea în care se realizează percepția vizuală și semantica gândirii asociate Gravitând în jurul acestui „nucleu terminologic”, vision, cartea este rezultatul colaboiăaî cu cercetătorii din cadrul Institutului de Cercetări în Informatică din Toulouse IRIT; Universitatea Paul Sabatier, realizată majoritar în timpul stagiului post-doctoral pe care l-am efectuat în cadrul proiectului POSDRU , „Societatea bazată pe cunoaștere, cercetări, cler bateri, perspective , dar și al oportunității de a cunoaște cercetători în dome de vâif în timpul conferințelor și al colaborărilor profesionale ocazionale de proiect, cun tstv domeniul nano-vision Capitolul care deschide această incursiune în zona aplicațiilor tehnologice conexe vederii umane și artificiale, „Aspecte cognitive în indexarea automată a conținutului audiovizual” (în forma sa originală sub denumirea „Cognitive Issues in uioma iv Audiovisual Content Indexing”), este scris de profesorul structurării automate a ^nținutului’ de°cercmreprin tema, Analiză și sinteză de Universitatea Toulouse^n^reunind^panu^^P cu al Uniwreifâții metodelor de indexare a conținutului audiovizual al ' ,|nprcoiiale si do colectiv din ultima decadă ^echipa înregistrărilor și retrospectiva ccicei*' ‘ conținutului video și audio, din IRIT), ne SAMOVA - structurare, analiză și modem J î(l flto și multillledia, pentru conduc către aspectele cognitive ex| / „ cimet inducerea efectelor speciale prin usocicnn n U|Ui laborator LACll (LAboratoii Christophe Jouffrais, director Je *|e Toul UW)( creaț m toamna anului Commun IRIT - IJA - Institut l'ulie''« xlol i’jpif-o soeiot uo din ce iu ce mai tehnologizată, pentru a deservi necesitățile linei i o' ni )( u jezvoli ireu unor noi „Tehnologii ne prezintă cercetările și l"niC acestui c-ipitol, trudii du Mihaola ( ostm, colaborare dezvoltată în Stagiul post-docioral din cadrai proiectului POSDKU , „Societatea bazam pe cunoaștere, cercetări, dezbateri, perspective”, la IRIT, Toulouse, ITanțu Specie cognitive in indexarea automată a conținutului audiovizual Inspratc din tehnologiile de indexare de text, cercetările actuale se concentrează pe mdexaiea automata a conținutului audiovizual Ca suport al acestor cercetări, găsim o schemă generală ce corespunde posibilităților aplicative Aceasta constă în crearea unui vector de trăsături descriptive mai mult sau mai puțin discriminative, extrase din fiecare unitate de conținut Interogarea formulată de către un utilizator final, poate fi transformată intr-un vector de trăsături în versiunea simplă a acestei scheme, vectoni generați automat sunt în final confruntați, comparați, cu termenul de interogate o mctiică, cum este o distanță sau o măsură a similarității este folosită pentru a efectua această compaiație Vectorii (și conținutul indirect indexat) sunt ordonați după distanța crescătoare In această schemă, există două etape în care mecanismele cognitive pot fi implicate în primul rând, trăsăturile ce caracterizează conținutul pot fi inspirate în natura lor, sau în modul în care sunt extrase, din teoriile dezvoltate în domeniile percepției și cogniției, cunoașterii Apoi, metrica folosită pentru a compara vectori poate li mai mult sau mai puțin sofisticată, luând în considerare același tip de proprietăți Multe lucrări au propus integrarea în procesul de estimare a distai ței a unor parametri exogeni, cum ar fi aprecierea utilizatorului referitor la ceea ce înseamnă „similaritatea”, sau „sensibilitatea”, în percepția conținutului In paragrafele următoare, vom detalia acest subiect Chiar dacă cele mai multe dintre aceste exemple provin din lucrările recent dezvoltate în cadrul grupului de cercetare SAMOVA al Institutului de Cercetări în Informatică din Toulouse, IRIT, Univeritatea Paul Sabatier, în ultimul deceniu, trebuie însă să subliniem faptul că realizările din acest domeniu sunt în continuă expansiune Ca urmare, ne vom concentra doar pe un număr redus de probleme și vom prezenta câteva dintre caracteristicile uzual folosite pentru indexarea imaginilor și a sunetului, din încercările făcute în a replica, pe cât posibil, comportamentele fiziologice și psihologice umane Vom discuta apoi despre conceptul de similaritate și modul în care aceasta poate fi pragmatic integrat într-un motor de căutare Pentru ilustrare, vom da detalii cu privire la unele aspecte din domeniul identificării audiovizuale a persoanelor, și la analiza structurii audiovizuale a unor înregistrări Clasificarea unor scene pentru regăsirea imaginilor Având în vedere " utilizatorului final, în cele mai oarecum i „munți”» scene de interior” digital eu caracter l*^*^ sS rfKt№> clasitieama automata a loto malul mării" i multe lucrări pe această temă, clasele sunt mai лш ■■■ , riV( lini neisai urban”, „pădure”, „malul mării", aceleași, cum ar fi, țL Jere tatorH au incercat nu numai să măsură să se confrunte eu dificultățile sui venite „ii sau să utilizeze toate informațiile care pot fi fi omologiile) Pentru a compara rezultatele și a - , ,- coneente care apar dom în anumite zone extindă tipurile de clase, dar și sfi detecteze conceți ale imaginilor, să găsească soluții m i din modificările conținutului imaginii extrase din surse externe (cum ai PHILIPPE JOLY stabili noi direcții de dezvoltare în acest domeniu, sunt organizate anual întruniri internaționale care permit cercetătorilor să confrunte metodele și rezultatele obținute lucrând pc aceleași seturi de date L Caracteristicile (trăsăturile) globale Când clasificare a fost limitată la detectarea câtorva clase, caracteristicile globale au constituit adeseori o soluție suficientă pentru clasificatori, pentru a obține rezultate de o bună calitate Caracteristicile globale tipice caracterizează textura și culoarea într-o imagine Filtrele Gabor au repurtat un succes deosebit, fiind printre primele introduse în descriptorii de tip MLPEG- , datorită proprietăților lor discriminatorii (amplificare, orientare) dar și posibilității de face legătura cu reprezentarea semantică Pe lângă aceste caracteristici, multe lucrări au căutat o cale inspirată mai mult din biologie Pe baza rezultatelor experimentale obținute în domeniul neuropsihologief, au fost dezvoltate bănci de filtre pentru a modela felul în care se presupune că reacționează ochiul uman la conținutul diferit de texturi dintr-o imagine Alte lucrări încearcă să modeleze procesul uman de estimare al similarității între conținutul a două imaginii prin transformări dedicate ale caracteristicilor, sau prin agregări ale descriptorilor de textură O caracteristică foarte ușor discriminatorie și eficientă pentru indexarea de imagini este culoarea Aceasta constituie un real suport în constituirea vectorilor de descriere prin trăsături, prezentând robustețe la numeroase transformări, cum ar fi modificările geometrice sau schimbările în intensitate luminoasă, prin selectarea ingenioasă a unui spațiu de culoare Cum vectorii descriptivi trebuie să fie comparați între ei, un spațiu de culoare care respectă proprietățile perceptive (cum ar fi spațiul de culoare LAB ) este foarte adecvat Cu toate acestea, în literatura de specialitate, această posibilitate nu a fost mult exploatată, poate pentru că păstrarea spațiului de culoare folosit pentru codarea inițială a imaginii, părea a fi o abordare cu costuri de calcul scăzute și suficient de eficientă In general, un descriptor de culoare este de fapt o histograma de culoare calculată după o cuantificare a culorilor Unul dintre neajunsurile majore ale unui descriptor global de culoare constă în dificultatea estimării sirnilaritățilon I xis-ă în principal două strategii de indexare Pe de o parte, sunt generați vectorii tuturor imaginilor intr-un prim pas de cuantizare, cu o aceeași hartă de culoare (adoptând o Jeanny Herault, De la retine aux clrcuits neuromorphiques, Chap in Les syst&nes de Vision’' J M Jolion ed„ IC col , llermes, Paris, Hcrvd Le Borgne, Nathalie Guyader, Anne Gucrin Dugud, Jeanny Herault, Classipeaelo qf images: /СЛ Filiere vs Human perception, In Proc, Of ISSPA , Simen Ihorpe, Amaud Delorme, Rufin VanRullen and Williams Paquicr ( ) Reverse engineering ofthe virual system uslng networks ofspiking neurons, IEEE International Symposium on Clrcuits and Syst - LAB abreviere care provine din: I -himinozitaic, A- axa a: red-green, B- axa b; blue-yellow (nota editorului) Rezultate deosebite m cercetări foarte recente pe aceeași direcție au fost obținute chiar în cadrul colectivelor de cercetare ale Academiei Romane - nota editorului, I Aspecte cognitive in indexarea automată a conținutului audiovizual „paletă" de culori) Pe de altă pane, cuantificarea, cuantizarea, se realizează aglutinare a culorilor) Atunci când în ° °Г ПаГ'’ relativ simple (cum ar fi distanța Manhattan) anume referitor la culoarea care apare efectiv în fiecare І • j , primei abordări, toate imaginile sunt indexate cu un același tabel de cuantizare vectorii pol fi compamfi ,ap d, cu meu,de relativ simple (cum ar fi distanța Manhattan) ~ m C ZU Un°r devieri cromatice, chiar și mici, vectorii de culoare pot fi foarte diferiți și imaginile vizual foarte similare pot fi clasificate foarte diferit, prin acest mecanism Intr-o a doua abordare, sunt folosite distante mai sofisticate cL-e să ІП ,c Ilsiderare atat vectorii, cât și tabelele de cuantificare (calculând distanța pătratica sau EMD - Earth Mover Distance - care este o măsură a distanței dintre două distribuții de probabilitate pe o regiune D) Se estimează rezultate astfel obținerea unor rezultate mai bune, dar costul de calcul reduce puternic cantitatea de comparații ce pot fi realizate într-un timp interactiv rezonabil Procesul de cuantizare a culorii este o problemă-cheie în cele mai multe aplicații de indexare de imagine în multe cazuri, un descriptor de tip „culoare dominantă ’ este folosit drept trăsătură distinctivă, dar modul în care culorile dominante sunt extrase este în general discutabil Culorile dominante pot fi definite ca fiind corespunzătoare primelor N vârfuri din maximele din histograma de culoare (care este mai mult sau mai puțin și propunerea făcută în [MPEG- ]) Deoarece într-o imagine naturală am putea avea doar pixeli de culori diferite, este necesară mai întâi o cuantificare, pentru a putea extrage culorile dominante Dacă luăm în considerare răspunsurile date de utilizatorii finali atunci când li s-a cerut să indice culoarea dominantă pentru o imagine dată, am putea observa diferențe importante față de rezultatele date de un proces automat De obicei, o astfel de diferență apare pentru imagini care prezintă un singur obiect pe un fundal uniform Când computerul identifică culoarea de fundal ca fiind cea dominantă, utilizatorii se uită în general doar la obiect pentru a determina ce culoare dominantă are Evident, în cele mai multe cazuri, identificarea unei similarități puternice între două imagini care prezintă același obiect pe două fundaluri diferite este un rezultat considerat Acest neajuns nu este specific doar descriptorilor de culoare, ci, in general, descrintorilor globali”, care caracterizează întreaga imagine și care nu se ёоп^ХХ pe ari specifice d magine „Descriptorii globali pol Я ușor concentrează pe a P divizarea unei imagini în regiuni mai mici, printr-un algoritm de extragereea« W** zone Unii descriptori au fost, mai leccnr, spcv caracteristici discriminatorii locale, ale unei imag Caracteristicile (trăsăturile) locale tx ьлнііог de puncte care atrag în mod preponderent Generarea automată a l,n„^supune evidențierea pozițiilor dintr-o atenția, saliente, (SM „sahencc n • să insiste (să zăbovească) mai imagine sau dintr-un videoc ip m c imaginii SM harta saliențelor sau mult timp atunci când se Parc“rg® ită poate fi produsă de un dispozitiv de „harta atenției” eum ar mai putea fi numita, f PHILIPPE JOLY II urmărire a privirii Dar în domeniul indexării automate a conținutului, obiectivul este de a genera astfel de hărți utilizând modele predictive, în general bazate pe textura locală și conținutul de mișcare Ideea principală este că informațiile discriminatorii sau semantice nu sunt omogen distrbuite în imagine Prin urmare, există zone mai relevante, care trebuie descrise prin mai multe detalii, în procesul de indexare Generarea automată a acestor hărți SM ar putea fi inspirată din domeniul neuropsihologiei dar asta se întâmplă rareori în cercetarea clasică care nu ia in considerație elemente noi, din domeniul științelor cognitive, deoarece rezultatele sunt evaluate în funcție de precizie pentru documentul retumat de un motor de căutare, și nu în funcție de zonele saliente, de harta de zone relevante Dintre lucrările recente, putem menționa aici „ zoomable interactive video” sistem dezvoltat de Vincent Charvillat , în ultima decadă Scopul urmărit este de a mixa o primă hartă de zone saliente care indică prioritățile calculate pentru zonele cu un nivel ridicat al gradientului de densitate, sau care identifică obiecte în mișcare, cu o altă hartă de zone saliente construită prin reținerea locațiilor unor clicuri efectuate de utilizatori când doresc să mărească anumite părți specifice dintr-un video Datorită acestor cunoștințe agregate, schema de codare a înregistrării video poate fi adaptată pentru a păstra anumite detalii la o rezoluție înaltă în regiunile de interes (ROI „regions of interest”), cu scopul de a oferi posibilitatea unui zoom eficient, păstrând în același timp o rată de compresie rezonabilă S-a propus marcarea unor puncte de interes pentru realizarea unui model al zonelor unde privirea persistă un timp foarte scurt înainte de a trece mai departe, atunci când este explorată vizual imaginea După cum s-a menționat deja, în domeniul indexării multimedia, cercetătorii au acordat atenție mai ales robusteței și invarianței algoritmului de extracție dezvoltat, sau proprietății discriminative a descriptorului atașat fiecărui punct Am putea spune însă că punctele și descriptorii SIFT și SURF sunt departe de considerațiile cognitive Descriptorii uzuali atașați puntelor de salience utilizează distribuția gradientului în vecinătatea fiecărui pune: (și anume „histograme de gradient” sau „HoG”) Având în vedere puterea discriminative remarcabilă a acestor descriptori, s-a propus utilizarea lor ca elemente pentru un nou tip de schemă de codare a imaginii Ideea este de a colecta regiunile din imagini care generează puncte similare de interes (cu descriptori similari), pentru a putea duce aceste regiuni pe o imagine inițial albă (vidă), și utilizând metodele de inpamting Ș* de interpolare să se umple zonele libere rămase goale, sa se genereze o nouă imagine Deoarece imaginile obținute cu acest proces invers sunt de o calitate suficient de bună, putem vedea descriptorii inițial concepuți ca fiind semnături discriminatorii eficiente, ce pot servi la reprezentarea prin compresie a unui conținut vizual Mai mult decât atât, putem trage concluzia că ariile înconjurând aceste puncte de interes (SIFT sau SURF) sunt corespunzătoare părților semantic semnificative din conținutul vizual al înregistrării Vincent Charvillat, Wei Tsang Ooi, Romulus Grigoraș, GCraldine Monn, Crowdsourced Automatic Zoom and Seroll for Video Retargeting în ACM Multimedia, Florence, / / - / / , ACM, (suport electronic), Aspecte cognitive în indexarea automată a confmutului audiovizual Trăsături audio Atunci când o coloană sonoră a fost înregistrată împreună cu conținutul vizual caic unneaza a fi indexat, s-a observat o complementaritate între indicii care nr Л TП fiecare dmtre aceste modalitătL De exemplu, complexitatea pic bкmci identificării unei persoane într-un context audiovizual poate fi mult redusă daca se folosesc in același timp atât indicii audio cât și cei video Utilizarea indicilor audio apare astăzi ca o sursă alternativă de informare dacă dorim să clasificăm automat locația unei înregistrări Putem înțelege evident că un sunet de valuri poate ajuta la identificarea unei scene de plajă, sau un sunet de claxon sau de motor poate fi de util pentru a decide dacă un videoclip ilustrează imaginea unei străzi Tiăsăturile audio pot fi mai relevante în unele cazuri decât cele video pentru identificarea anumitor evenimente, cum ar fi „spălarea unor vase”, înregistrată de dispozitivele de monitorizare folosite pentru asistarea persoanelor în vârstă la domiciliu Pentru a procesa coloana sonoră a documentului audiovizual, sunt uzual extrase câteva caracteristici, pentru a caracteriza unele elemente specifice conținutului, cum sunt vorbirea, muzica, aplauzele, râsetele, sunetul de clopoței, etc Pentru a procesa coloana sonoră a documentului audiovizual, câteva caracteristici sunt uzual extrase, pentru a caracteriza unele elemente specifice conținutului, cum sunt vorbirea, muzica, aplauzele, râsetele, sunetul de clopoței, etc Aceste caracteristici sunt: coeficienții spectrali (sau cel puțin magnitudinea lor); coeficienții cepstrali ; energia de modulare la Hz”, care caracterizează viteza silabică de exprimare înregistrată la Hz; - modularea entropiei care caracterizează nivelul de organizare al conținutului muzical etc Ca și în descriptori audio utili pentru cazul descriptorilor vizuali, MPEG- oferă un mare număr de i caracterizarea conținutului audio (cum ar tt descrintorul anvelopă spectrală, sau împrăștierea spectrala) Pentru cele mai X S* Ьаск^агГзеТтепш'іоп’^', segmentare bazată pe propagarea „fonvard-backxvard" Pentru cele mai „forvvard’backvvard” ь, іглоіпе Andrd-Obrecht H’ater Flow Detection Front а Wearable Patrice Guyot, Julien l mquici, Ь, „țn International Workshop on Content-Based nu u N - ) X - / / , IEEE, pp - , June Multimedia Indexing (CBMI ) A y, si|ftbQ din cuvftntul ^ctru (nota Denumirea de provine d n e i ui ц tnM Transformata Fourier a log dm editorului); deci este o trnris o • - magnitudinea spectrului Fourier ltttrO({;wtion to Mpeg- : Multimedia Content B S Manjunath, Philippe Salember, | M Descr/pton Editor :JolinWiley&» m,tn,nație speech segmentation, in Rdgine Andr *Obr®cht - mare care prezintă unele Prog № Prog № Ț/'Гу * >■** А "Ѵ**ЙЙ r -o *> ?• *:K\f W ‘'■я'и,ржки ,ѵ • ВЙ r Js'iw i Ip/ r av г •■■ І'К * «M Prog № I Ргоя № № Prog № и •d f Х'* I ig Slrudura de blocuri puști în e\>iden{ti de ctiuv /чииісеи de e r debitate *-/ atunci când se compară aproximativ două zile consecutive de televiziune Fiecare bloc corespunde uimi program TV, Siba Haidar, Philippe Joly, Bilal Chebaro, Mining for Video Production Invanants to Measure Style Similarity, in International Journal of Intelligcnt Systedns , Wilcy voi , nr , pp - , July Romain Tavenard, Laurent Amsaleg, Guillaume Gravier Model-based sMlarity estimation of multidimensional temporalsequences, in Annales des T lecommunications ( ) - PHILIPPEJOLY Aceasta metrică poate fi utilizata pentru a identifica un fel de „similaritate stilistică" intre două înregistrări video Urmând aceeași observație, o matrice de similaritate poate fi utilizată și pentru a evidenția meta-structurile in fluxuri video importante, de exemplu, atunci când ne uităm la matricole obținute pe înregistrările TV făcute timp de două zile pe aceleași canale, observăm unele blocuri largi, fiecare aparținând unui singur program TV în cele mai multe dintre lucrările dezvoltate pe tema estimării similarității conținuturi lor audiovizuale ale înregistrărilor, doar caracteristicile vizuale sau audio extrase în mod automat sunt utilizate pentru a calcula metricele dintre vectorii descriptivi Această abordare se bazează pe un punct de vedere arbitrar, unde utilizatorul final nu este luat în considerare în funcție de context, de sarcina de efectuat, sau de alte aspecte, putem fi mai mult sau mai puțin sensibili la importanța unor aspecte date De exemplu, în cadrul laboratoarelor japoneze au fost făcute unele propuneri, cu scopul de a ține seama de sensibilitatea utilizatorului la background, în estimarea similarității , (fenomen denumit „kansei”) Pentru a integra percepția utilizatorului final despre ceea ce ar însemna similaritatea dintre două conținuturi audiovizuale, am propus o implementare interactivă în care organizarea vizuală a unui mic sub-set de documente, manual definită de către un utilizator, este considerată ca o intrare pentru un an sistem supervizat care încearcă să găsească metrica și parametrii care să permită duplicarea aceleeași organizări spațiale localizând astfel automat fiecare înregistrare din baza de date Primul pas din acest process constă în extragerea unui număr mare de trăsături de nivel scăzut din înregistrarea audio-video, care formează un vector de descriere pentru fiecare document Odată ce primele reprezentări simbolice ale documentelor selectate sunt plasate pe ecran, sistemul intră într-o buclă cu doi pași până când apare o comportare staționară a rezultatului: Pasul Selectarea unui sub-set de trăsături printr-un algoritm cu dublu sens (Forward Backward Feature Selection algorithm) care poate fi utilizat pentru a calcula o distanță normalizată între documentele plasate pe ecran Pasul Algoritm cu regresie (e-SVR) care încearcă să descopere cei mai buni parametri cu scopul de a potrivi distanța normalizată dintre trasaturile selectate, cu distanța euclidiană efectivă dintre reprezentările documentului în spațiu’ ecranului Odată realizat acest calcul interactiv, utilizatorul poate cere sistemului afișeze un subset de documente, sau roate documentele din ba a de date, pe ecran Pentru a depăși constrângerile care nu pot fi satisfăcute prin proiecția D a spațiului vectorilor descriptivi pe ecran, considerăm entitățile vizual© ca fiind niște particule Sunkyoung Jkiek, Mlyoung Сію, Myunggwon liwmig, Pankoo ICim, KANS^ascd hnage ! titi' v d /П d whli ( oloț\ in i u> Ș( propunem să utilizăm patiu ac - jc|e rsp („ratio of skin part”), anume: funcția care da feței - FR („face ratio”) și orientarea feței mărimea feței rb („іасе ’ - FO („face orientation”) PHIL PPEJ LY Definim RSP Qratio of skin part”) ca fiind numărul de pixeli care corespunde pielii, raportat la numărul total de pixeli ai unei zone rectangulare selectate pentru delimitarea feței Clasificarea pixelilor în clasele skin și not-skin poate fi realizată cu instrumente euristice simple aplicate asupra trăsăturilor de crominanța FS ( face size”) este o mărime dată de formula —- unde w și h sunt respectiv lățimea și înălțimea zonei rectangulare de delimitare Valoarea ideală a raportului dintre lățimea zonei dreptunghiulare de delimitare și înălțime, este de % Valoarea FR rezultă utilizând raportul dintre dimensiunea ideală si cea reală FR = - ( ) FO este o mărime a cărei valoare caracterizează aspectul simetric al feței în vedere frontală și orientarea sa verticală, calculându-se prin: Aoi ( ) w unde // este momentul statistic centrat de ordinul + Prin experimentele efectuate s-au observat câteva proprietăți interesante ale factorilor individuali din care este compusă această metrică S-a alcătuit o bază de date formate din imagini găsite ca urmare a căutării unor persoane foarte cunoscute, utilizând un motor de căutare pe web S-au identificat manual doar pozele în care este realmente posibilă recunoașterea persoanei căutate S-au cmparat apoi, aceste rezultate, cu cele obținute cu ajutorul unui clasificator Adaboost, cu fiecare dintre cei patru factori calculați individual pe fiecare imagine S-a obținut o rată de % clasificare, rezultat ce constituia de fapt principalul scop al cercetării Dar, când se analizează în detaliu ponderile date fiecărui factor, în procesul de decizie, s-a observat că factorii FR și FO au fost ambii implicați în proporție de %, FS a fost implicat în proporție de % și factorul RSP a fost implicat în proporție de % Cu alte cuvinte, programul de recunoaștere automată este mai mult influențat de orientarea feței și de trăsăturile de raport, dublu decât este influențat de culoarea pielii din imagine, Deoarece sistemul supervizat a fost antrenat cu imagini selectate manual referitei la proprietatea lor de a permite identificarea persoanei reprezentate (înfățișate), putem trage câteva concluzii despre proprietățile cognitive care intervin preponderent în procesul de recunoaștere a feței umane Din păcate, în această hilippe Joly, Vdromque I ongueville, Mediuni-Knowledge-Based Macrosegmentation ofHdeo into Sequences, in Intelligent Multimedia Information Retrieval, Mark ГПЮОТ M ’’ ’ ЛАЛ ' 'CSS °IKl Ml' PlCSSS’ Ml Press’ Cambridge, Massachusetts, pp- l ' Ewa Kijak, Guillaume Gravier, Lioncl Oisel, Patrick Gros, Audiovisual Intesration for Sport Broadcast Multimedia'lools and Applications, : - ' ' Regulile de Aspecte cognitive in indexarea automată a conținutului audiovizual (pentru a arăta scene^are^se pefrec’În^ocat^dîf Unde aSpeCte practice nevoie ca ele să fio tâLl ? , ° d,fente’ sau în momente diferite, este ZXX™ a"VХакХГ e dramatică (un flashback de exemplu) ““ ‘ S-a văzut într-un paragraf anterior, că o aplicație alternativă a analizei stmilanțați, ar putea fi constituită pe ideea de a identifica structura programului Am oi i sa ne focalizam pe modul m care evenimentele sunt temporal organizate în cadrul conținutului, pentru a caracteriza faptul că acele reguli de producție pot fi aplicate, in mod intenționat, pentru a diferenția un anumit document audiovisual de altele din aceeași categorie —— ■ ■ —— Fig Cei trei parametri utilizați pentru caracterizarea relației temporale dintre două segmente: diferența dintre pozițiile de început (ДВ), pozițiile de final (ДЕ), precum și sfârșitul primului și începutul celui de al doilea segment (Suprapunere - Lap) Astfel, am propus o metodă generală și nesupervizată bazată pe relațiile temporale dintre evenimente Intrarea o reprezintă rezultatul diverselor procese de segmentare temporală aplicate aceluiași document audiovizual Aceste segmentări pot viza identificarea segmentelor în care se pot auzi dialoguri sau aplauze, sau, spre exemplu, segmentele unde pot fi văzute figuri sau mișcare Se presupune că fiecare proces de segmentare generează un set de segmente care nu se suprapun și care nu sunt în mod necesar conectate Dacă se iau în considerare doua segmente sl șis , generate de două procese de segmentare diferite, se pot calcula următorii tei parametri pentru c a eteriza relațiile lor tempoiale O >ompntp înăuntrul Acești parametri sunt calculați pentru fiecare doua segmente înăuntrul ferestrei temporale (mărimea ferestrei depinde de mărtmea segmentelor șt a evem-mTX ce trebuie caracterizate) Fiecare relație temporala este apoi considerata ca reprezentând un punct în sPa^ D a tutUror relațiilor observate dintre Se calculează, mai aț , temDorale ale aceluiași document Am numit rezultatele celor doua segmen a zTRM) - Matricea relațiilor temporale, această histogramă Temporal £e’a e numeroase și variate procese de segmentare, Deoarece unui conținut pot fi * l for Video Production Invariants to Measure Style Siba Haidar, Philippe Joly, Bilal Ch^ro, M o/ wl nr > pp - July ” Zein AJ Abidin Ibrahim Isabelle F™ ^lation Analysis in EURASIP Journal on Audiovisual Document v ], , (on line), March Image and Video Processing, E - PHILIPPE JOLY pot fi calculate multe TRM-uri S-a demonstrat că o algebră poate fi pe complet definită pe aceste matrice Un set de operatori, și un element neutru se pol defini pentru a deduce valoarea unui nou TRM, date fiind două valori cunoscute, sub un set minimal de condiții Putem observa, moment cu moment, într-un subset al acestor TRM unele distribuții specifice, care pot fi folosite imediat pentru identificaiea unui gen de program TV sau al unui rol jucat de un personaj într-un context dat Fig , Un TRM tipic pentru o scena de film cu doi actori, sau o fază a unui joc TV cu doi jucători Cele două segmentări corespund momentelor când cei doi actori sau jucători pot fi văzuți sau auziți Punctele aliniate vertical corepund shot-urilor în care cele două persoane apar simultan în partea stângă și în partea dreaptă, punctele reprezintă intervenția alternativă a acestor persoane Aceste distribuții pot fi analizate printr-un algoritm de cuantificare Pot li folosiți mai mulți algoritmi, cum ar fi K-means, sau scheme predefinite, cum ar fi cele din relația dată de James Allen , cunoscută drept relația Allen Odată ce acest pas de cuantificare a fost aplicat, TRM-urile pot fi ele însele reprezentate printr-un mic vector de descriere pentru a identifica numărul relațiilor temporale se întâlnesc"' (gri încep" (gri închis) г Fig Trei sub pății (treiplane) care corespund relațiilor -lllen intermediar), „ se suprapun ” (gri deschis) Z axis ’ in Communications of the ACM Aspecte cognitive in indexarea automată a conținutului audiovizual pe TRM cuantificate, putem, mai , Folosind histograme normalizate calculate pe TRM cuantificate nntem тя; SSS rîcV'*“"" sim₽'“al ,ilm * •='“ D„ces чГо fe с усака m gen a fost un simplu posibil output al acestui tip sub-gen P °bt,nerea Unor rezu,tate interesante chiar și în clasificarea de îl? v ‘ ’ iSe ob,servă cum au fost identificate clustere (reprezentate pe axa verticală) Videoclipunle de la Ha reprezintă știri TV dintr-un set de conținuturi dm anul (asociate, în majoritatea lor, cu clusterul ), documentele de la la sunt știri TV dintr-un set de conținuturi din anul (clusterul ) Documentele de la la sunt programe de football Documentele de la la sunt filme Documentele și suni două jocuri TV diferite iar documentul este o dezbateie politică Un rezultat interesant este faptul că știrile TV sunt automat grupate (clusterizate) pe ani și nu pe canale (în ambele clustere sunt amestecate, mixate, programele CRN și ABC) Unele documente audiovizuale urmează o schemă predefinită pentru organizarea temporală a conținutului Este cazul tipic al știrilor TV (unde întâlnim alternanța showurilor care reprezintă anchor-ul, sigla - de exemplu „meteo” - cu shot- urile care corespund reportajelor), sau al emisiunilor de sport TV (regulile jocului necesită o evoluție foarte specifică a evenimentelor precum secvența din tenis „serviciu/joc/greșeală (fault)” repetată până la sfârșitul meciului) sau al jocurilor TV Pentru acele documente, au existat multe propuneri de identificare a structurii folosind gramatici predefinite corespunzând, spre exemplu, HMM-urilor antrenate, sau, în cel mai bun caz, direct pe unele trăsături discriminante dedicate Fig Rezultat automat al clusterizării de documente video Pentru analiza automată a structurii temporale, cele mai dificile cazuri sunt identificate în filmele du liuliuno suu serial Pentru un «stfel de proces mei o gr matică nu ponte li identificata Ne putem baza pe regulde de produclțe audiovizuali! Itntclc pot fi calitativ-inferioare pentru conținuturi atipice - abordări inspirate din teoria grafurilor pentru a încerca să dar, în acest caz, rczn Putem folosi, de asemenea, PHILIPPE JOLY pentru a propune un instrument de video deinterlacing ” Aici, ideea este să se iau hXderatie conținuturile mai multor evenimente despre care se presupune ca au oc n același timp ’Shot-urile sunt amestecate de-a lungul axei temporale cu scopul d?a arăta o mică parte din fiecare eveniment la un moment dat Pentru aceasta, căutăm seturi de personaje care apar cel mai mult m shot-urile succesive Putem găsi apoi un set de clustere care corespund în general, acelor evenimente i mac sau povestirilor și chiar mai mult, putem evidenția unele relații dintre aceste evenimente, sau relatări (un același personaj apare în două filmări, un același^ se etc ) Caracterizarea persoanelor și a modului lor de comunicare, intr-o înregistrare audiovizuală, pot constitui de asemenea, date de intrare, de input, pentru identificarea rolului respectiv Folosirea anumitor caracteristici legate de activitatea respectivă, de vorbire, durata de intervenție, energia semnalului, valoarea frecvenței fundamentale (pitch value) corepunzând unui singur personaj în cadrul unei ferestre tempoiale largi pot fi folosite într-un clasificator pentru identificarea rolurilor în programele de știri, precum siglă рголю „anchoi”, reporter, „jouinalisf’, reporter ad-hoc „punctual joumalisf’ etc Pentru a avansa în direcția structurării temporale automate, putem identifica câteva scheme apriorice pernu ceea ce înseamnă un interviu între un jurnalist și relatarea unui martor ocular, de exemplu Prin aplicarea unor scheme anterioare în zonele temporale unde două persoane interacționează, putem identifica unele scene specifice cum ar fi interviurile, prezentarea de informații, shot-urile de tranziție, pauzele etc OMrp un zaharat o deficiență vizuală gravă după ani de leziunilor vaselor capilare de la CHR ST PHE JOUFFRA S I Cadrul teoretic Cartografierea cognitiva In proporții diferite, fiecare dintre noi avem conștiința spațială a mediului în care trăim Datorită stimulărilor senzoriale în general (și informațiilor provenind de la organele noastre de simț), reușim să cunoaștem și să înțelegem diferitele locuri și situații Aceste date recepționate senzorial, pe de o parte provin direct din mediu, datorită percepției directe a obiectelor care pot fi atinse, pipăite, mirosite, auzite, văzute (sau gustate), iar pe de altă parte provin din informațiile geografice parvenite prin intermediul altor surse, mai puțin directe cum sunt intemetul, cărțile, televiziunea, radio, jurnalele, hărțile, machetele sau pur și simplu conversația Integrarea acestor prime informații provenind din experiență și din învățare este un proces complex cunoscut sub numele de cartografiere cognitivă Aceasta înglobează un ansamblu de operațiuni prin care individul obține, codează, stochează, își amintește și manipulează informația legată de mediul său spațial Această informație acumulată corespunde atributelor, caracteristicilor și pozițiilor relative ale lucrurilor și persoanelor în mediu și este indispensabilă în procesul adaptiv de luare a unei decizii spațiale (v Downs and Stea ) Cunoașterea și înțelegerea mediului joacă un rol important în planificarea și efectuarea oricăror deplasări (Garling & Golledge ) Acestea permit de exemplu identificarea unui supermarket în apropiere, selecționarea celui mai bun drum pentru a putea ajunge la serviciu, sau decizia asupra locului în care am dori să ne petrecem vacanța Aceste procese evoluează cu vârsta, experiența, învățarea, dar și cu apariția deficiențelor senzoriale O hartă sau o reprezentare cognitivă (Tolman ) este deci o abstracție mentală (mai mult sau mai puțin corectă) a unui mediu, elaborată de un individ la un moment dat Cartografierea cognitivă poate fi considerată ca un model intern al lumii în care trăim (Golledge & Stimson ) Una dintre caracteristicile reprezentărilor mentale spațiale este distincția dintre cele două tipuri de reprezentări denumite respectiv hartă sau drum Reprezentarea de tip hartă, maparea, este o reprezentare a unui ansamblu elaborat într-un cadru de referință alocentric, deci în care sistemul de coordonate este extern Această reprezentare este bazată pe o cunoaștere a proprietăților topografice ale meniului, implicând localizarea obiectelor în raport cu un sistem de coordonate fixe, I ste deci o reprezentare independentă de poziția individului Rolul mapării este crucial în capacitatea persoanei de a determina configurația locurilor situate înafara câmpului său vizual, sau în stabilirea relațiilor spațiale intre locuri care nu au fost SZd Amolk^oîdon jJ?! ’ Imase & envi™nment: c°snitive mapping and spațial behaviar rn 'ni t ОП,П^ & Не ІлиІ^ G- Cognitive mapping and spațial decision-making- Routledge, " ®d* by R,M| Ki,cbin & & Preundschuh, - : Golk^Refinald G°T RH*”Ti an,h,,e"' p«yehologlcal rcvicw , E ’ S ' Ul J' Slln,sol > Analytlcal behavloural geography, Guilford Press- •I і і Li > ’І » Tehnologa de asistare а persoanelor cu deficiențe vizuale piezentarea de lip harta, contrar reprezentării de tip drum nermite n reorganizare a informațiilor spațiale (întoarceri, găsirea unor scurtătur ) centnc, deci mțr-un sistem de coordonate integrând reperele , pozițh X caie na\ igheaza Cunoașterea spațiului se face plecând de la înregistrarea secvențială a punctelor de reper pe măsură ce individul navighează în acest mediu (de exemplu pe mașina pai curgerii unui traseu) Acest tip de cunoaștere este puțin plastică în sensul în care ea nu poate fi reorganizată (dacă un punct de reper a dispărut, sau dacă navigatorul a deviat, structura este întreruptă) Aceast tip de reprezentare pare a fi suficient pentiu cazul în care deplasarea se realizează într-un mediu cunoscut, familiar, fără obstacole Simțul vizual este cel preponderent la om Când se primesc simultan informații vizuale și informații senzoriale de alt tip, subiectul interpretează frecvent informațiile vizuale ca fiind corecte, chiar dacă acestea nu sunt Acest fenomen a fost numit „captură vizuală” (Smyth & Wing, ) sau dominanță vizuală Un exemplu pentru acest fenomen este conflictul vizual-tactil Când un obiect este perceput vizual într-o anumită formă (oval, de exemplu), în timp ce el este perceput tactil sub o altă formă (de exemplu în forma literei C), percepția vizuală este favorizată (Smyth & Wing ) Deci uzual, percepția vizuală este cea care furnizează competențele și resursele de bază, permițând principalele interacțiuni cu mediul \ ederea permite conștientizarea propriei poziții și actualizarea informațiiloi caie piovin din mediu îr scopul navigării și construirii unei hărți л O consecință a dominanței simțului vizual este că există diferențe utilizarea celor două tipuri de reprezentare (hartă versus drum), pentru vazaton și nevăzători, dar și între nevăzătorii congenitali și cei taidivi у e a Downs and Stea I alta” Conform acestui studiu, alegerea destinația este atinsă Navigarea Termenul de navigare definește comportamentul de «*»*** , nmresele motorii, senzoriale și cognitive pt caic it nup ucu un anumrt scop, cu tome pioce el , de dau ■ „ОПЙПР Hintr-o locație pe suprafața pământului, m probleme spațiale, mișcarea mici pe ‘ ttl, otapc: orientarea in mediu, t conservarea itinomriulul bun și recunoașterea faptului cj itinerariului, conservarea , I i<> cunoașterea locului unde se găsește Prima etapă (orientarea) coreșpui ^ aceasta în prealabil, le persoana care navighează , nipon ci nenuuntă și stabilite i direcției, permite cunoștea deja Această etapă de onc ’ te șl oum esțe orientat în raport cu subiectului să cunoască poziția m e medluL |n Mw M ДІ ,„ m wimi cum ar fl “ “ Lte * Aceste două modele nu se situează exact la același nivel si sunt comnle mentare Faza de planificare propusă de Adams" ( ) eo„ți„e faile de orient și de alegeie a itineranului ale lui Downs and Stea ( ) Etapele următoare ale lui Downs and Stea (păstrarea itinerariului, recunoaște! ea destinației) sunt incluse, ambele, în navigarea globală a lui Adams Noțiunea care apare în acest moment este cea de navigare fină, care capătă o importanță deosebită la persoanele cu deficiențe vizuale deoarece se referă la schimbarea stiategiej locomotorii atunci când pietonul trebuie să depășească anumite dificultăți In aceste două modele, este important ca navigatorul să își poată actualiza poziția și orientarea pe măsură ce se deplasează După cum am văzut, reperele vizuale sunt foarte utile Totuși, există alte metode care permit integrarea acestor informații în timp (Loomis et al ; Gallistel ) Se pot cita aceste metode clasificate în funcție de cinematică Navigarea bazată pe poziție (numită „pilotare”) are la bază semnale externe care indică poziția și orientarea călătorului Acest tip de navigare se realizează, în general, cu ajutorul unei hărți externe sau interne Navigarea bazată pe viteză (numită „estimare dedusă engl dead/ded-reckoning sau „integrarea căii urmate”, path-integration) este fundamentată pe semnale externe sau semnale proprioceptive (senzații interne legate de mișcare), care indică viteza călătorului Deplasarea și direcția în lapoit cu punctul d^ origine sunt obținute prin integrarea vectorului viteză în sfârșit, navigarea bazată p^ accelerare (numită „navigare inerțială”) implică o dublă integrare a accelerărilor liniare și angulare ale călătorului, pentru a deduce de aici schimbările de poziție șt de direcție survenite de la plecare în acest caz, nu este necesar niciun semnal extern Cogniția spațială a persoanelor cu deficiențe vizuale Ca urmare a deficienței vizuale, procesele cogniției spațiale tn general, și ale navigam, in special, devin deoscm н-mp foarte scurtă având în special, spațiale multiple, '^’„а м mentala a mediului ta momentul deplasării proprietatea de a stabiliza icpiez |K (Thinus-Blanc & Florence Gaunet Adams, Christi J , An investiga J (inivorsity, mia: rolytechnic "re/hetians on cognitive mapping, Harpec& Row M & Davld Stea, i kflnt/kv Navtetttion System Jor the olina Loomis, Jack M , Reginald Q golledge * and Virtual Environments - Auditory Display Modes and Ciudancc, ■ Kharles R„ The * ^dpersons: Vision as a JftXeX?, Psycho"Bul - , , of Science Virgin ia: Po Downs, Roger CHRISTOPHE J U RA S Л Л Impactul lipsei vederii asupra cogniției spațiale Fletcber (Fletcber’ ) a clasificat cercetările cu privire la capacitățile spațiale ale orbilor în trei mari teorii; deficiența ( ă construiască hărți cognitive (a se vedea, de exemplu Casey ; Dodds ' et al ; Hollyfield & Foulke ) Fletchcr, Janet F„ Spațial Representation in Blind Children, l: Development Con i i • Children, Journal of Visual Impainnent and Blindness - , R eser, John J,, David A, Guth & Everett W I lill Sensitivity ta perspective sir/tcture without vision, Perception , - , , Casey, Stcvcn M„ Cognitive mapping by the blind, Journal of Visual Impairouat & Blindness , * , , Jturmaa Jyrki, Transportation in Mental Spațial Manipulat ian: Theoretical Aua( sis, American Fo« ndalion for the Blind Research Bulletin - , Passini, Rornedi Guylâne Proplx, Wayjlndlng without Vision, Environment and Behavior - , , Miliar, Susanna, Understanding and rcpresenling space: Theary and evidence frem snidies with u blind andsighied children, Oxford Unlverrity Press, USA, Casey, Stevcn M,, Cognitive tnapping by the blind, Journal of Visual Impainnent & Blindness -ЗП , , Dodds, Allan G,, km llowarth & David Chirk-Curter, The mental mops of the blind: The role of previne Visual experience, Journal of Visual Impainnent & Blindness - , Hollyfield, Rebecca L, & Emerson l'oulke, The spațial cognîtion of blind pedestrians, Journal of Visual Impainnent & Blindness, , ehno/ogll de (мімаге и t и deficiențe vizuale Influența vârstei de apariție sau a duratei ceeltAțli în ptezent, discuția este orientată mai degrabă către teoria diferenței, in care vârsta apanțici sau duiaia cecității ar putea avea o influență asupra cunoștințelor spațiale și a mecanismelor care permit dobândirea acestora Ne văzătorii tardivi (NVT) au avut o experiență vizuală care ar trebui să Ic permită să beneficieze de un avantaj in ceea ce privește cogniția spațială față de nevăzătorii precoce sau congenitali (N\P) Intr-adevăr, s-a observat că subiecții văzători cu ochii acoperiți ș* NV reușesc mai bine decât N VP în majoritatea sarcinilor dc navigare Se pare că există diferențe cognitive între orbii congenitali orbii tardivi șî văzători, dar că, în general, acestea nu au consecințe asupra realizării sarcinilor spațiale Diferențele observate sunt legate, probabil, de o dificultate de învățare a tehnicilor de explorare a spațiului și un acces mai mic la informațiile externe în căzui persoanelor cu deficiențe vizuale Probabil că lipsa consecințelor asupra realizării de sarcini spațiale rezultă din folosirea intensivă a altor modalități senzoriale și din punerea în aplicare a unor moduri diferite de explorare Dificultăți, necesități și factori care influențează navigarea persoanelor cu deficiențe vizuale Odată cu progresul tehnologiilor de asistare pentru comunicarea scrisă, unul dintre cele mai mari impacturi ale deficienței vizuale este, fără nicio îndoială, pierderea mobilității autonome Potrivit unui studiu efectuat de Ministerul Sănătății din Franța (Sander et al ), % dintre persoanele cu deficiențe vizuale care au o condiție fizică ce le permite să se deplaseze au declarat că întâmpină probleme în cazul deplasărilor în exterior % au declarat că nu sunt capabili să se deplaseze singuri, iar % pot să se deplaseze singuri, dar numai pe itinerare cunoscute De asemenea, deficiența vizuală este o frână în ceea ce privește mobilitatea în interior pentru % dintre subiecți t , Pentru persoanele cu deficiențe vizuale, navigarea reprezintă o sarcină relativ complexă de realizat, care generează un stres important Intr-adevăr, vederea fumi-zează nu numai informații cu privire la deplasările efectuate, ci șt în ceea ce privește dispunerea spațiului apropiat și îndepărtat (Foulke IWL; Foulke ; Strelow ) în consecință, în ciuda utilizării câinelui ghid sau a bastonului alb, navigarea rămâne aproape imposibilă și periculoasă atunci când traseul este necunoscut sau nu cuprinde “floiente indicii nevizuale (de exemplu în zonele nou detonate) \rsonnes incapaâtâs - dipenduwes (ed ) Sander, Marie-Sy)vie, Mărie ayant un handicap visuel Appotls de Ц R d e d M,F d l S e d, Solidaritds, , ііюЫШу of blind pedeslt ians, Spațiul ubilitics: Foulke, Emerson, l'ercepdon, cognidoii a ■ i> )(oa' | ; New York: Academic Press, Development and physlological foundations, cd by M oivWu д цегіспп Foundation for the Blind, Research Foulke, Emerson, The perceptual basittjor mobllUy, Anwtlu Bulletin, , , , я lheorv of IHMUty: Direct perceptlons and cognitive Strelow, Edward W„ IVhat is needei J | iew maps—lessons from the blind, Psychologica CHR ST PHE JOUFFRAIS populației, de climă, de sunt percepute diferit în , „masă” ) Dificultățile variază în funcție de mediu, de densitatea constrângerile arhitecturale, de absența reperelor etc , și funcție de individ, Deși toate modalitățile senzoriale (auz, pipăit, miros sunt mobilizate în timpul unei deplasări, acestea nu sunt suficiente întotdeauna la persoanele cu deficiențe vizuale pentru a se deplasa în mod sigur și autonom (Wolff et al ) Dejeammes și colaboratorii ( ) au identificat patru nevoi primordiale legate de fiecare deplasare: ( ) securitatea (evitarea accidentelor de circulație, evitarea căderilor și a șocurilor); ( ) localizările personale (unde sunt, pe ce, între ce și ce ?) și relative (strada / străzile / clădirea / magazinul / stația de transport X este oare la dreapta / la stânga / în față?); ( ) orientarea (oare merg în direcția bună?); ( ) informația (ce este în jurul meu în ceea ce privește infrastructura / activitățile / informațiile scrise disponibile?) Aceste diferite nevoi vor fi satisfăcute datorită utilizării unor indicii nevi- zuale cu privire la parcurs, puse în legătură cu hărțile mentale preexistente Strategii suplimentare cum ar fi număratul în cazul distanței (de exemplu, numărul de pași efectuați), luarea în considerare a timpului (durata scursă) și a etapelor de parcurs (de exemplu, a o lua la dreapta după cea de-a treia stradă) vor permite efectuarea deplasărilor diminuând stresul Modurile de compensare senzorială în general, se admite că persoanele oarbe compensează lipsa informației vizuale printr-o utilizare mai mare a informațiilor furnizate de sistemele lor senzoriale intacte Cu toate acestea, datele empirice rămân foarte contradictorii Această incoerență se poate datora, în parte, diversității participanților din diferitele studii (importanță, durată, etiologia deficienței; vârsta subiecților, tipul sau lipsa unui grup martor corespunzător), utilizării unor sarcini ce nu sunt complet identice etc (a se vedea Miliar ; Roder & Nevil le ; Thinus-Blanc & Florence Gaunet : pentru o discuție detaliată) Simțul maselor nu este un al șaselea simț fiziologic Este o abilitate dobândită, de a resimți prezența ; unei mase mai mult sau mai puțin importante (zid, coloană, streașină) sau discontinuitatea acesteia (de exemplu, prezența unui culoar) Aceasta se datorează, probabil, percepției simultane a unor j indicii auditive și somestczice foarte slabe Vvolff, Marion, Philippe Cabon, Gtfrard Uzau, Julien Nelson & Stanislas Couix, Deplacement urbain de personnes non-voyanles: âtude mult l-fac tortei le des dțfficultes et apport d’une nouvelle I interfacepour le recueil des donntes, Paper presented at the Ergo-IA , Biarritz, i Dejeammes, Maryvonne, G rard Uzan, M’Balo Seck & Catherine Sidot, Deplaeements des deflcients visuels en milieu urbain: analyse des besoins en securit^ localisation et orientation et î plstes d'âvolution, CERTU, Miliar, Susanna, Studios oj the deaj and the blind, hc Pathology and psychology ol cognition, : i Taylor &, Francis, Roder, Biigitte Л llelen Nevillc, Developmental funcțional plasticity, Handbook oj neuropsychology, ed by J Gralinan & Robertson, - : Elsevier, Thinus-Blanc, Catherine & l lorence Gaunet, Representation of space in blind persons: Vision as а I sparta/smse?, Psychol Bull - , , ' wnotogn de asistare a persoanelor eu deficiente vizuale cu deficLVtkuaTe fi™ 'a perS°ane,e ceptivă factorii atenționali, interacțiunile multimoSate, "plastkiMea ZS putea sa le permită să depășească văzătorii într-un anumk număr de sîciM haotice sau auditive Din contră, aceștia ar fi mai slabi î„ unele sarcini in oare vede "e ioacl un l-ol important (a se vedea Zwiers et al a; Zwiers” el al ) ' ' Navigarea fără vedere Pentru a studia navigarea în absența vederii, Loomis a definit cinci procese generale: ( ) detectarea, ( ) memorarea unui traseu, ( ) stabilirea unei reprezentări globale a mediului, ( ) selectarea itinerarelor și ( ) realizarea acestor itinerare Primul proces (detectai ea) se referă la dobândirea unor informații cu privire la propria deplasare și/sau la repere înconjurătoare, oricare ar fi modalitatea senzorială implicată Memorarea unui traseu corespunde unei secvențe de segmente, reorientărL depinde de denaturări de percepție și de eventuale pierderi de memorie Cel de-al treilea proces are la bază informațiile dobândite în timpul deplasării pentru a elabora o reprezentare spațială globală de tipul hărții Informațiile incluse aici ar putea fi obiecte întâlnite, puncte de interes sau deosebit de importante Cel de-al patrulea proces permite alegerea unor itinerare pe baza memorării unui traseu sau a unei reprezentări globale Cel de-al cincilea procedeu permite efectuarea deplasării Fiecare dintre componentele navigării pedestre va deveni dificilă prin deficiența vizuală Se observă o diminuare a sentimentului de securitate, în raport cu o lipsă aproape totală a anticipării perceptive, precum și o dificultate importantă de a păstra o orientare corectă, ca urmare a diminuării reperelor Lipsa vederii reduce percepția informațiilor cu privire la mediu, ceea ce are diept consecință o dihotomic între câmpul apropiat și cel îndepărtat Astfel, dobândiiea de informații cu privirv la câmpul apropiat are la bază, în principal, modalitatea somestezică care include informații tactile, termice, proprioceptive (percepția de sine), chinesțezice (percepția propriei deplasări) și nociceptive (percepția durerii) Sursa cea mai bogata ramane percepția tactilă care poate fi pasivă sau activăi (numita și percepție haptica) Informațiile calitative olfactive sau auditive pot h completate ‘"m efiind ii * înJonnrt'ii pete nosibi numai prin auz Auzul nctunu somesfoz ce Accesu la câmpul inoepaiiai еыс pu&iuu nu t umcsiezice acucș i „ informatic de configurare, de exemplu), Acest mod de percepție obl g an and the disabled: a survey with special referenee to Vision "" I ransactlons ol the Institute of Hritish Geographers - , ^Ekenncl К la rol Wtilker, Blind and partially sighted adults in Britain: The СЪгк-Г N VOlUnW ’ HMS > t hdon‘ • visualIv imnatrtdn ^ ^nlhony H Hcycs & Iun llowarth, The ejjlciency and walking speed oj v^uauy impalred people, Ergonomics Tehnologii de asistare a persoanelor cu deficiențe vizuale în special, mediilor existente pentru a permite un acces mai bun persoanelor cu deficiențe vizuale în al treilea raiul, conceperea unor dispozitive de asistare pentru persoanele cu deficiențe vizuale a progresat foarte mult in ultimii ani în afara dispozitivelor de ajutor pentiu mobilitate cate permit evitarea obstacolelor imediate, în ultimul timp s-au dezvoltat numeroase dispozitive de ajutor pentru orientare care au la bază poziționarea geogiaficâ piccisa și ghidarea persoanelor cu deficiențe vizuale (Farcy et al - ) entiu ca aceste dispozitive să fie utilizabile, este esențială integrarea persoanelor cu deficiențe vizuale în verigile de concepție pentru a înțelege practicile „clasice de navigare ale acestora, dar și nevoile lor și modul in care ei utilizează aceste sisteme (Anke Brock ) Cercetările în domeniul cogniției spațiale pot permite să se înțeleagă ce informație este necesară pentru un navigator orb și cum trebuie să i se prezinte acestuia informația Cercetările în domeniul cartografiei cognitne pot fi, de asemenea, foarte utile pentru a dezvolta metode de evaluare ale acestor dispozitive de asistare In al patrulea rând, studierea cogniției spațiale a persoanelor cu deficiențe vizuale aduce informații prețioase cu privire la rolul experienței senzoriale în cartografia cognitivă în general Acest lucru conduce la progrese teoretice care po: avea repercusiuni în alte domenii în care cogniția spațială este importantă, cum ar fi robotica Ц Lucrările descrise aici privesc numai ultimele două puncte (conceperea unor dispozitive de supleanță și aspectele teoretice care privesc cogniția spațiaiă comparată în special cu aceea a văzătorilor) și sunt realizate în strânsă colaborare cu Centrul de Educație Specializată pentru Persoanele cu Deficiențe Vizuale - Institutul fineri-lor Orbi din Toulouse (Centre d’Education Specialise potir Deficienrs Visue s -Institut des Jeunes Aveugles de Toulouse) Asistarea navigării și terminologie Luciările descrise cu privire la conceperea unor sisteme de >s ; e a navigării se sprijină pe etapele navigării descrise de Downs and Stea ( ) Atur c când este necesar, se utilizează și noțiunile de planificare, navigare fină și globală, introduse de Adams ( ) care accentuează dificultățile generate de sarcini’e de locomoție care nu sunt ghidate vizual în acord cu terminologia utilizată de specialiștii din domeniul readaptării nevăzătorilor (deși nu total echivalenți), se vor utiliza mai frecvent termenii de „mobilitate”, „orientare și „pregătire a iti terariului farcy Ren£, Roaer Leroux, Alain Jiiclm, Rolaiul M I>ainaschini, Colelle (îregoiiv & Azi/ Zogaghi, Electronic travei aids and electronic orientation aids for blind people: technical rehabilitation and everyday life points oj v/ew, CVill, , , Brock, Anke, interactive# tnidlunodalcs potir pietons malvoyants, Mașter thesis Umv P Sabatier, Toulouse, , , , Downs, Roger M & David Stea, Image Л environment: Z oul tis ele amceptlon participative avec des utilisateurs non-voyants, Paper presented to the II IM' , b, * CHRISTOPHE JOUFFRAIS sc adresează unor subiecți lipsiți de vedere (ca urinare a absenței interfeței grafice* care permite compensarea a numeroase probleme tehnice) Adesea, tehnica este o frână pentru concepția participativă, cu feed-back-uri prea lente în ceea ce privește integrarea ultimelor rezultate și a noilor idei Majoritatea mediilor de dezvoltare sunt foarte limitate la platforme software sau la materiale specifice Pentru a atenua aceste dificultăți, se disting două tendințe: alegerea unui singur mediu de dezvoltare coerent, însă cu prețul unor potențialități restrânse sau operarea pe diferite platforme, dar cu problemele de comunicare și de integrare ale acestor dezvoltări în cadrul unui singur sistem interactiv performant Echipa ELIPSE, în colaborare cu CENA (centrul de studii pentru navigare aeriană), a dezvoltat o metodă de prototipare rapidă bazată pe o magistrală logică (Buisson et al ) Această magistrală, denumită Ivy , funcționează prin schimb de mesaje textuale de la un agent la altul Nicio structură de date complexă nu poate fi trimisă Această restricție numai la lanțurile de caractere face ca datele să fie compatibile sub forma unui standard disponibil pe toate platformele și în toate limbajele Agenții trimit și primesc mesajele pe o adresă de broadeast Astfel, fiecare agent se poate abona și poate asculta mesaje filtrate prin intermediul unui prefix pentru mesaje și poate invoca o funcție evenimențială la fiecare receptare de mesaje Datorită acestei funcționări, este posibil să se suprime un modul, să fie simulat sau înlocuit foarte ușor Singurul imperativ este ca modulele să fie pe aceeași sub-retea Această metodă permite adăugarea și/sau suprimarea agenților în dispozitive, fără a le denatura funcționarea globală în toate proiectele, echipa ELIPSE dezvoltă module independente (de exemplu, pentru achiziționarea unor date video sau pentru redarea sonoră) și autonome, care pot fi testate și simulate separat Această funcționare facilitează evaluarea independentă a fiecărui modul și permite evaluarea pe aceeași bază software a unor metode diferite de achiziție, de transformare și de redare, fără a schimba arhitectura sistemului Mai mult, modulele sunt reutilizabile în diferite dispozitive Această metodă permite, în special, concentrarea atenției asupra concepției centrate pe utilizator (Norman & Draper ) suprimând unele bariere tehnice Platforme, metode și instrumente La IRIT, există două platforme dedicate studiului realității virtuale: PREVI (http://vvvvw irit fr/-PREVI-) și ULYSS (http://www irit fr/labo-usages/) Aceste două plalfome permit utilizarea ultimelor tehnologii interactive și imersive, precum și a metodelor și instrumentelor de concepere a unor sisteme interactive S-a inițiat instituirea unui post experimental (numit I luman Experimentation Lab) în care se pot dezvolta noi protocoale privind studiul percepției auditive sau haptice și studiul simulării unei neuroproteze vizuale, Acest post este prevăzut cu o cască pentru un bus logiciel au service du ^rce,Pn» Alexandri Bustico, St£phane Chalty, Franșols-îbSgls Colin, Yannick Jestin, Setnn > ’ Chri tophe Mcnz & l>hiliPPC Truillet, /pp; ‘ l de syst^nws Interactifs, Norman Donald л , de șatre DTI/SDER A se vedea http://wvv\v tls cenaJr ‘ W, Draper,// ser CHR ST PHE JOUFIRA S acestea cu un efort cognitiv scăzut «lin partea utilizatorului Majoritatea nevazătorilor interogați consideră că o persoană însoțitoare ar fi ajutoriiI cel mai pertinent Oricare ar fi tipul de asistare utilizat, % dintre participanți ies singuri pe stradă cel puțin o dată pe zi, iar % cel puțin o dată pe săptămână Numai , % dintre persoane nu utilizează niciun sistem de ajutor pentru navigare, dar nu ies niciodată singuri Transportul în comun este foarte utilizat, % dintre ei îl utilizează cel puțin o dată pe zi, % cel puțin o dată pe săptămână și numai , % nu îl utilizează niciodată Trebuie notat că aceștia din urmă sunt și cei care nu utilizează niciun sistem de ajutor și nu ies niciodată singuri ransportul in comun, deși nu este destul de accesibil, pare a fi primordial pentru autonomie în spatele acestor date descriptive cu privire la obiceiurile ne văzătorilor, acest studiu a permis punerea în valoare a nevoilor care sunt rar satisfăcute de instrumentele de supleanță existente Analiza rezultatelor chestionarului pune în evidență trei categorii de nevoi exprimate de nevăzători: navigarea în medii necunoscute, localizarea obstacolelor și categorizarea unor obiecte asemănătoare Navigarea în medii necunoscute Majoritatea persoanelor care utilizează un câine pentru orbi în consideră mult mai util decât bastonul alb, deoarece este mult mai ușor de utilizat Spre deosebire de baston, câinii ghid pot găsi calea cea mai scurtă pentru a ajunge la o destinație, pot să o ia pe trecerile pentru pietoni, pe trotuare și să adapteze un traseu în funcție de obstacolele apărute la distanță sau pe înălțime In schimb, ei nu sunt acceptați de toate persoanele și, în plus, nu sunt acceptați în toate locurile publice (spitale, magazine ) Prin urmare, câinele este foarte util pentru mobilitate (păstrarea direcției și e\ itarea obstacolelor) și orientare într-un spațiu imediat (găsirea celei mai apropiate treceri de pietoni) Din păcate, câinele nu poate deloc să genereze un itinerar către o destinație dorită Stăpânul trebuie să știe, în orice moment, unde se află și în ce direcție vrea să meargă Aceasta înseamnă să fie corect orientat, să selecționeze itinerariul dorit și să recunoască reperele de navigare în timpul deplasării L Localizarea obstacolelor și a obiectelor O problemă importantă este detectarea obstacolelor, în special a celor care se află la înălțimea capului (extinctoare, bene de camion etc ), deoarece acestea nu sunt detectate dc baston și sunt uneori ignorate de câinii ghid Formele obstacolelor care suițt cel mai dificil de evitat sunt lungi și fine, verticale sau orizontale Participanta menționează că obstacolele cele mai periculoase în navigare sunt rupturile brutale dc pantă, pe de o parte, și mobilierul urban mobil și vehiculele, pe de altă parte , Categorizarea obiectelor asemănătoare obieefpi^ recJunoa?te U" obiecl prin forma sa poate să nu fie suficient atunci când diferențiat * aPl ,p'ate din punct de vedere structural De exemplu, este util e cutie de mazăre de una de ananas sau o factură de chirie de o chitanța ehnologii de asistare a persoanelor cu deficiențe vizuale bancjiă De asemenea, este foarte util de știut cărui magazin îi aparține ușa detectata Aceste probleme au revenit în mod recurent în ancheta realizată și subliniază problema dobândirii informației semantice cu privire la un obiect (de exemplu numele străzii, valoaiea unei bancnote, numărul autobuzului, numele unui magazin tic ) în lipsa unei inloimâții semantice complete, culoarea (semafor, culoarea hainelor etc ) și luminozitatea (vremea dc afară etc ) sunt informații care se pot dovedi indispensabile Л Concluzii privind analiza Analiza răspunsurilor persoanelor cu deficiențe vizuale scoate la iveală două funcții V izuale primordiale: recunoașterea și localizarea obiectelor Aceasta dublă facultate permite deplasarea localizând obstacolele, orientarea culegând informații cu privire la poziția reperelor și configurația spațiilor, și luarea de decizii în situații în care absența informațiilor vizuale este penalizantă (traversarea dacă semaforul este verde, alegerea cutiei de mazăre etc ) Echipa ECLIPSE crede că este posibil să se utilizeze recunoașterea și localizarea unor ținte vizuale în mediul înconjurător prin vedere artificială pentru a ajuta persoanele nevăzătoare să navigheze De exemplu, s-ar putea implementa o funcție de recunoaștere a unor repere vizuale (metrou, ușă, trecere de pietoni, logo etc ) Această informație ar permite păstrarea unei direcții, îndreptarea către o destinație și localizarea punctelor de reper sau a punctelor de interes, cum аг n clădirile importante Faptul de a recupera această funcție a sistemului vizual ar permite să se răspundă, în același timp, unei alte nevoi, cea a recunoașterii obiectelor cu forme asemănătoare, dar pentru care numai motivul vizual este diferit Un modul de recunoaștere și de localizare rapidă a obiectelor Astăzi, mulți algoritmi care privesc vederea ajung la rezultate de segmentare John A Van Opstal & Johan R, Cruysberg, }vo-dtmensional soimd-localizatio» is TnW se ‘ Rmh Wi,h Advlinces l^nis’ imagery and the audio virtual environment, Sl Andrews, Scotland ? '' PeoPh in immersive Tehnologii de asistare a persoanelor cu deficiențe vizuale câmpul peripeisonaL lotuși, această asistare nu este suficientă pentru a permite unor peisoane cu deficiențe vizuale să navigheze în spații largi, Ajutoarele electronice pcntiu orientate (EOA) furnizează utilizatorilor informații cu privire la poziția lor și la direcțiile pe care trebuie să le urmeze Un EOA este compus din trei elemente indispensabile: / un modul de poziționare bazat pe semnalele satelifare; / un sistem informațional geografic (SIG) cu o bază de date spațiale, un soft pentru selectarea de itinerare și urmărirea utilizatorilor; și / o interfață utilizator care are la bază o interacțiune nevizuală (de exemplu, vocală sau tactilă) Până în prezent, aceste EOA sunt bazate, în principal, pe GPS și pe serviciile bazate pe localizare (LBS) Anumite aparate comerciale sunt disponibile (BrailleNote, Angeo, Trekker), dar, în majoritatea cazurilor, utilizarea lor a fost limitată de prețul relativ ridicat (aproximativ $) și de o proastă precizare a poziției (uneori mai mare de m, în special în zonele urbane) Ședințele de analiză cu utilizatorii și educatorii în domeniul orientării și mobilității (O&M) au permis descoperirea unei alte limitări importante Se pare că aceste sisteme au la bază hărți comerciale concepute pentru navigarea vehiculelor Poziționarea și ghidarea propuse în sistemele comerciale se sprijină deci pe o rețea de străzi și nu pe o rețea de drumuri pentru pietoni Evident, toate reperele necesare pentru navigarea persoanelor cu deficiențe vizuale (puncte de reper, puncte de confirmare și puncte de interes) sunt absente din baza de date Ceea ce se propune aici este că această abordare de localizare a țintelor poate permite ameliorarea poziției și, prin urmare, ajutarea persoanelor cu deficiențe vizuale să navigheze, dar trebuie totuși să se sprijine pe un SIG adaptat Dispozitivul de ajutor pentru navigare conceput este bazat pe prototipul de ajutor pentru localizarea țintelor, care permite evaluarea unei asistări pentru navigare adaptată în special persoanelor cu deficiențe vizuale Până în prezent, s-a lucrat pe două verigi majore ale sistemelor actuale: sistemul informațional geografe (SIG) și poziționare Dispozitivul complet este în curs de evaluare' Un sistem informațional geografic adaptat pietonilor cu deficiențe vizuale /’ у SIG poate fi definit ca un instrument de captură, manipulare, afîșaj, interogare și analiză a datelor spațiale (a se vedea Burrough ) SIG cuprind o bază de date digitală și softuri concepute pentru a selecționa itinerare, pentru a urmări traseul călătorului și a informa utilizatorul cu privire la caracteristicile locale S-a făcut o clasificare a obiectelor care trebuie să fie integrate în baza de date a SIG S-au definit patru clase principale incluzând Punctele de Interes (POD, indiciile și punctele de reper (LM), zonele pietonale (sidewalks) și țintele vizuale (VP) POl reprezintă locuri sau obiecte care sunt destinații potențiale Acestea sunt utile și pentru a permite pietonului să înțeleagă mai bine mediul în care se deplasează Aceste lucrări fac parte din proiectul NAV G, aprobat de polul AESE și coănanțat de ANR (programul TecSan ) și Regiunea Midi-PyrenCcs (programul APRRTT ) A se vedea http://navig irit fr/ Burrough, Peter A Principia of geographical Information systems for land rcsources assessment, Clarendon Press, , CHR IS OPHE JOUFFRAIS (de exemplu clădirile publice, magazinele, serviciile etc ) Un indiciu, după cum arata si numele său, desemnează un loc care îi permite persoanei cu deficiențe vizuale sa facă inferențe cu privire la propria sa poziție Acesta este, în esență, ncvi/ua Ln punct de reper corespunde unei acumulări de indicii Pentru a concepe un S G adaptat navigării pietonilor, este important să se includă toate drumurile pedestre posibile, ca de exemplu trotuarele și trecerile pentru pietoni In sfârșit, punctele vizuale (VP) desemnează obiecte geolocalizate care pot fi detectate prin modulul de recunoaștere și de localizare a obiectelor Acestea au două funcții: localizarea unor obiecte specifice din câmpul vizual (de exemplu, o cutie poștală la caie uțilizatoiul vrea să ajungă) și ajutorul pentru poziționare datorită estimării distanței și diiectiei între obiectul recunoscut și utilizator lllllllllll troiuare treceri pietonale drumuri Fig Ilustrarea a patru itinerare posibile între un punct de plecare și o destinație (imagine preluată din lucrarea Slim Kammoun et al ) РОІ puncte de interes Ш repere marcaje VP repere /izuale Figura ilustrează patru itinerare posibile între un punct de plecare și o destinație Pentru fiecare itinerar se calculează un scor Calea pietonală care conține POÎ, LM și VP și care are cel mai bun scor este cea aleasă S-a realizat un SIG al campusului Universității din foulouse, extras din baza de date OpcnStreetMap, la care s-au adăugat clasele de obiecte menționate, precum si un algoritm dc selecție a itinerarului care include nevoile și preferințele pietonilor cu deficiențe vizuale Figura arata un exemplu de alegere a unui itinerar problematic Pentru a ajunge la aceeași destinație, pietonii pot alege unul dintre cele patru itinerare leprezentate piin culori S-a arătat că traseul optim poate fi selectat rezolvând Kammoun, Slim, Drain i Moi ian Bemurd (>riola & Christophe Jouffrais, Route selection algor'thm jor Blind pedesirlan, Paper presentvd to the International Conference on Control Auiomation and Systems Gyeonggi-do, South Korea Tehnologii de asistare a persoanelor cu deficiențe vizuale problema minimizării prin algoritmul Im Dijkstra (Dijkstra" ), luând în сопзь derare clasele de obiecte definite (Slim Kammoun* et al ) Pentru fiecare secțiune, beneficiile și costurile au (ost alese pe baza nevoilor și a comportamentului persoaneloi cu deficiente vizuale în timpul realizării anumitor sarcini de navigare Această metoda selectează, în final, itinerariile care corespund ceJ mai bine navigării persoanelor cu deficiențe vizuale Primul tip de particularitate corespunde zonelor pietonale adaptate (de exemplu, un trotuar larg care permite deplasarea cu un baston sau un câine) Al doilea tip de particularitate constă în a găsi repere ncvizualc (LM) care îi ajută pe utilizatori să își confirme propria poziție Această alegere a itinerariului ar trebui să fie însoțită de o ghidare adaptată care permite semnalarea LM și a POI îrra nite pe parcursul traseului O astfel de ghidare ar avea două consecințe potențiale importante: ar minimiza stresul generat de deplasări și ar permite dobândirea, în plus față de competențele procedurale egocentrice, a unor cunoștințe spațiale alocentrice privind configurația mediului înconjurător Evident, o ghidare precisă are a bază o poziționare precisă nevazator fne Lvp Start reper POI reper POI monument Destinați э POI clădire publica Puncte pe itinerar puncte vizuale VP reprere - direcția de deplasare Fig Ilustrarea unui itinerar selectat care include diferite clase de obiect r Landinarkc -urile îi permit utilizatorului să își confirme poziția în itinerar VP pentru localizarea obiectelor de interes în câmpul visual (imagine preluată din Slim Kammoun et ) ) Figura ilustrează un itinerar selectat care include diferite clase de obiecte „Landmarks”-urile îi permit utilizatorului să își confirme poztția în itinerar VP sunt utile pentru a localiza obiecte de interes în câmpul vizual Aceste puncte și POI permit dobândirea unor cunoștințe aiocentrice cu privire la mediul parcurs Dijkstra , Edsger W , A note on two problms in connexion with graphș Numerisch^ mathematik - І, Kammoun, Slim Dramas Florian, Bemard Oriola & Christophe Jouffrais, Roiw select ion olgontnm for Blind ’pedestrian, Paper presented to the International Conference on Control, Automahon and Systems, Gyeonggi-do, South Korea, CHR ST PHI JOUI’TRAIS , Fuziune» datelor cu privire I» poziționare Precizia poziționării în numeroase medii, cum ar fi orașele, este■ rareon mai bună dc - dc metri în aceste condiții, EOA nu sunt cu adevărat utilizabile deoarece conduc la situații periculoase (de exemplu, traversarea in afara zonelor protejate) sau la erori prejudiciabilc (de exemplu, a o lua pe o strada greșita), in scopul ameliorării poziționării, s-au făcut numeroase propuneri Diferite proiecte de cercetare (Helal et al ; Pctric et al ; Loomis et al ) recomandă să se utilizeze un GPS diferențial (DGPS) care reduce marja de eroare nominală la mai puțin de metru în condiții ideale Cu toate acestea, DGPS are la bază utilizarea unei rețele fixe de stații de referință la sol Această rețea este relativ costisitoare și nu este foarte extinsă în plus, greutatea și mărimea receptorului (cel puțin , kg) nu sunt adecvate pentru mobilitatea pietonilor Una dintre soluții constă în utilizarea unor indicii dinamice în ceea ce privește deplasarea utilizatorului J'ig Principiul de funcționare al modului „poziționare utilizator" (figură preluată cu acordul autorului din lucrarea Brilhault et al ) S-a propus ameliorarea poziționării datorită detectării unor indicii vizuale statice prin intermediul modulului de vedere integrat (Adrien Brilhault et al ) Hclal, Abdelsalain, Sleven l-dwin Moare & Ualaji Ramachandran, Drishtr inteeratednavteatîon S" я r|u |SW ,()L JgAgJ ’Sir' " MMta D,l l'liilipiw Tnilllel & Jouffrais Christopbe, th ' - Inlem lionfll Confereneeoi, New|”і »л»ІеГмTn PaPeriraemed Ihe I ecnnologies, Mobility and Security, Paris, France, / 'ehnologii de asistat e a persoanelor cu deficiențe vizuale în această funcție, numită „poziționare utilizator”, vederea integrată este utilizată pentru a detecta ținte vizuale care nu suni semnalate utilizatorului, ci sun* utilizate doar ca puncte de ancorare pentru a preciza poziționarea In acest caz nu utilizatorul este col care determină ce ținte trebuie detectate Procesul este automat J are l V I ' i \ » Л Fi * • * ' t dl Tehnologii de asistare a persoanelor cu deficiențe vizuale Concluzii privind supleanța spațiala în această secțiune, s-au descris lucrările întreprinse privind supleanța spațială in situJoate aceste lucrări au la bază analiza nevoilor și a comportamentelor persoanelor cu deficiente vizuale și sunt fundamentate pe ipoteza că recunoașterea și localizarea unor indicii vizuale permite restabilirea, pe de o parte, a comportamentelor vizual-motorii în buclă închisă (localizarea unui obiect pentru a- apuca) și, pe de altă parte, generarea unor hărți cognitive suficiente pentru a permite comportamente de cel mai înalt nivel (înțelegerea topografici unui loc și, în consecință, ameliorarea capacităților de navigare) Până în prezent, s-a pus accentul pe analiza comportamentelor și a nevoilor și pe dezvoltarea unor metode și prototipuri în prezent, se fac numeroase evaluări cu privire la eficiența utilizării dispozitivelor și la reprezentările mentale spațiale care rezultă Acest prototip a permis să se răspundă, destul de ușor dintr-un punct de vedere tehnic și cu o foarte bună utilizabilitate, unei nevoi suplimentare privind identificarea unor obiecte similare Cercetările sunt completate de lucrări care răspund nevoilor persoanelor cu deficiențe vizuale de a dobândi cunoștințe spațiale despre exterior Una dintre sarcinile clar identificate corespunde în special pregătirii itinerarului înaintea unei deplasări I Hărțile interactive cunoștințe spațiale ultimodale pentru achiziționarea de и Introducere Percepția prin simțul tactil este un mijloac prin care persoanele cu deficiențe vizuale pot achiziționa informații și, în special, informații spațiale Datorită complementarității unei interacțiuni modale (audio-tactile) pentru persoanele cu deficiențe \ izuale, s-a realizat o colaborare cu Delphine Picard, profesor de psihologie la Universitatea le Mirail din Toulouse, în cadrul unui proiect privind percepția imaginilor prin simțul tactil la persoanele cu deficiențe vizuale Omul utilizează, probabil, de mai multe milenii, hărți și descrieri de itinerare pentru a naviga în prezent, aceste resurse sunt puse la dispoziția indivizilor în formă digitală, ceea ce Ic-a făcut foarte populare, mai ales după inventarea SniariPhone-uriioi și a aplicațiilor (Google Maps, Марру etc ) care oferă funcții noi pentru asistarea navigării In esență, hărțile vizuale sunt inutilizabile pentru persoanele cu deficiențe vizuale Totuși, ele sunt indispensabile în cadrul pregătirii itinerariilor, a fortiori pentru deplasarea unei persoane cu deficiențe vizuale Intr-adevăr» este deo ebii: de important pentru persoanele cu deficiențe vi unle să poată pregăti un traseu nou cu infoimâții despre forma generală a acestui traseu, precum și despre punctele de reper de pe parcursul său Această pregătire permite, în special, diminuarea temerilor i a anxietății datorate imersiunii într-un mediu necunoscut Simțul nostru tactil permite recuperarea informați iloi spațiale plecând de la o imagine imprimată m relief Aceste „imagini tactile” țl lik son’ ) pot avea o Eriksson, Yvonne, Tactile picturt pictorlal npresentations for the blind, Acta Universitatis Goihobureensis, CHRISTOlHll lOUl'FRAIS mare utilitate pentru persoanele cu deficiențe vizuale deoarece permit obținerea unor informații cu pt i\ ire la pozițiile, mâi imea și formele obiectelor (Kenncdy ), Un rezultat recurent) dar nesistematic arată СЙ orbii tardivi au rezultate superioare celor ale orbilor din naștere ( lellcr* ) Primul obiectiv al acestui proiect era de a înțelege capacitățile perceptive șt cognitive ale persoanelor cu deficiențe vizuale în momentul explorării unor imagini fâră semnificație, apoi cu semnificație După această prima etapă, care permite o bună înțelegere a mecanismelor percepției simțului tactil la nevăzători și la văzători, s-a pus accentul pe explorarea unor harți tactile și pc conceperea unui dispozitiv interactiv multimodal care să permită persoanelor cu deficiențe vizuale să citească hărți geografice Percepția imaginilor prin simțul tactil „Imaginile tactile” pot fi create, de exemplu, plecând de la materiale sensibile la căldură (hârtie Swell) sau sensibile la presiune (foi Mylar) în ambele cazuri, urmele grafice apar în relief ( mm) și, prin urmare, sunt perceptibile cu degetele mâinii Problema accesibilității imaginilor în sistemul tactil face obiectul unei dezbateri recente Intr-adevăr, specialiștii în domeniul pipăitului au susținut mult timp că simțul pipăitului este potrivit, în principal, pentru înțelegerea obiectelor tridimensionale și a calităților dc suprafață ale acestor obiecte (a se vedea, de exemplu, Lederman & Roberta L Klatzky ; Revdsz ) Alte studii au arătat totuși că persoane atinse de cecitate vizuală pot, într-o anumită măsură, să înțeleagă și să producă desene tactile ale unor obiecte comune (Heller ; Kennedy ) Capacitățile dc identificare ale desenelor tactile au fost testate și pe persoane văzătoare, cu un succes temperat (Heller et al ) Astfel, imaginea ar putea să capete un sens prin pipăit, depășind domeniul de percepție clasic vizual al acestui obiect bidimensional Doar că mecanismele legate de percepția și de identificarea desenelor cu trăsături în relief prin simțul pipăitului sunt, în prezent, neînțelese bine și au nevoie de investigații noi in studiile realizate, s-a examinat rolul experienței vizuale și al reprezentării vizuale a imaginilor în analiza pattern-urilor tactile D simple (fără convenții de desen precum perspectiva sau ocluzia) S-a comparat capacitatea orbilor precoce și tardivi și a văzătorilor cu ochii acoperiți într-o sarcină de recunoaștere a pattern-urilor D S-a analizat, în special, dacă recunoașterea acestor pattern-uri depinde de tipul de strategic de memorare utilizai (de exemplu, spațial, vizual spațial, verbal sau Kennedy, John M„ Drmvlng and the blind: plctures to toueh, Yale University Press, , Heller, Monon A Pictare andpatlernperception in tiu slghtedand the blind: the adva- tage of the toc WW, Perception - , , Lederman, Susan J & Roberta L Г recognltlon, Cogn Psychol - , , Z ’ md "" blind Oxford England lxmgnums, Green, , М/ /’o On /J"" ' " РекеГ'І°п in the stghted end the blind: the advantage ofd e late blind, Perception - , uT^MJ"hn Мл” plctures to toueh, Yale University Press, • **• n““"‘ "• Klotzky, Hand inovements; a winctow in'o haptu object ti Tehnologii de asistare a persoanelor cu deficiențe vizuale kinestezic) S-a aiătat că în ciuda unor diferențe semnificative între grupuri în tipul de strategie utilizat, nu există nicio diferență de performanță Totuși, rata de recunoaștere este corelată pozitiv cu capacitățile de reprezentare vizual-spațială a imaginilor ale subiecților văzători Aceste rezultate permit să se concluzioneze că dificultățile anumitor nevăzători de a recunoaște imagini tactile nu se datorează unor dificultăți bazice în ceea ce privește analiza unor pattern-uri tactile D simple Interesant este faptul că percepția imaginilor tactile D ar putea fi ameliorată ameliorând capacitățile de reprezentare vizual-spațială a imaginilor ale nevăzătorilor Recunoașterea prin simțul tactil a unor imagini fără semnificație Mai multe lucrări arată că percepția imaginilor tactile de către persoanele cu deficiențe vizuale variază în funcție de natura imaginii în relief și de exigențele sarcinii In timp ce formele geometrice simple (ca un dreptunghi) sunt recunoscute cu ușurință (Heller ), identificarea se dovedește a fi mai dificilă atunci când desenul reprezintă structura tridimensională a unui obiect urmând convențiile vizuale (Lederman et al ) O constatare recurentă este că, în cazul adulților, orbii tardivi și văzătorii îi depășesc deseori pe orbii precoce Aceste rezultate se înscriu în discuția actuală în cadrul căreia se confruntă două teorii cu privire la rolul experienței vizuale și al reprezentării vizuale a imaginilor în percepția unor imagini tactile Teoria propusă de Lederman și colaboratorii (Lederman et al ) sugerează că identificarea imaginilor tactile este mediată prin reprezentarea vizuală a imaginilor In schimb, Kennedy (Kennedy ) susține ideea că identificarea de imagini tactile este posibilă fără vreo experiență vizuală și fără o reprezentare vizuală a imaginilor, deși destul de dificil; prin urmare, ar putea fi amodală S-a abordat această discuție punându-se problema rolului experienței vizuale și al reprezentării vizuale a imaginilor în analiza unor imagini tactile D (Delphine Picard et al ) Formele D fără semnificație sunt utile pentru a controla faptul că eventualele dificultăți de recunoaștere nu sunt legate de dificultăți de interpretare Au fost comparate performanțele unor orbi precoce (OP), tardivi (Of) și a unor văzători cu ochii acoperiți (V) în timpul unui test de recunoaștere a unor imagini ) fără semnificație (Fig ) S-a analizat și dacă există vreo corelație între recunoașterea acestor imagini tactile D și tipul de strategie mnezică utilizat de participanții OP, ОТ și V Nu s-a remarcat nicio diferență semnificativă între grupuri în ceea ce privește recunoașterea și, aceasta, în ciuda utilizării unor strategii diferite Heller, Morton A , Picture and pattern perception in the sighted ane! the blind: the advartage of the late blind, Perception - , Lederman, Susan J„ Roberta L Klatzky, Cynthia Chataway & Craig D Summers, Visual mediation and the haptic recognition oj lwo-d imens ionul pictures oj common ofyects, Peicept Psychophys - , Lederman, Susan J„ Roberta L Klatzky, Cynthia Chataway & Craig D Summers Visual mediation and the haptic recognition of two-dimenslonal pictures of common objects, Peicept Psychophys - , Kennedy, John M , Drawing and the blind:plctures to touch, ă ale University Press, ? Picard, Delphine, Samuel Lcbaz, Christophe Jouffrais & Catherine Monnier, Haptic recognition of two-dimensional raised-line patterns by early-blind, late-blind, and bhndfolded sighted adults, Perception - , JHRlSrOPIIl JOUI I RAIS Fig Exemple de imagini fără semnificație (Delphine Picară et al, ; Recunoașterea prin simțul tactil a unor imagini cu semnificație Sistemul haptic permite identificarea unor obiecte comune Această identificare este foarte performantă (aproape %) și are la bază mecanisme de explorare care permit o identificare în până la secunde (Roberta L Klatzky et al Dimpotrivă, sistemul haptic este mult mai puțin eficient în ceea ce privește identificarea unor desene cu trăsături în relief ale unor obiecte comune Procesul este mult mai lung deoarece este de ordinul a de secunde, cu o performanță care nu depășește % (Lederman et al ) în modelul de identificare prin simțul tactil propus de Lederman et al ( ), recunoașterea unor desene cu trăsături în relief implică patru etape, dintre care o etapă de mediere vizuală Obiecte comune S-a elaborat un studiu (Samuel Lebaz et al ) care confirmă că reprezentarea vizuală a imaginilor este implicată în recunoașterea prin simțul tactil a unor desene cu trăsături în relief ale unor obiecte comune Pentru a măsura capacitățile subiecților de reprezentare a imaginilor, s-a utilizat versiunea revizuită a Minnesota i Paper Form Board (MPFB, Likert & Quasha ) Apoi, s-au corelat performanțele de identificare prin simțul tactil cu capacitățile de reprezentare vizual-spa-țială a imaginilor Rezultatele evidențiază faptul că cei cu o reprezentare vizual-spațială a imaginilor mai puternică au performanțe mai bune de recunoaștere decât cei cu o reprezentare vizual-spațială a imaginilor mai slabă însă, timpii lor de ras- Klatzky, Roberta L , Susan J Lederman & Victoria A Metzger, Identtfying objects by touch: an Percepi Psychophys , Lederman, Susan J„ Roberta L Klatzky, Cynthia Chataway & Craig D Summers, Visual mediatton and ihe haptic recognition of two-dlmenstonal pictures ofcommon objects,, Percepi Psvchophys , - , , Lederman, Susan • Roberta L Klatzky, Cynthia Chataway Craig D Summers, Visual mediation and the haptic recognition oj (wo-dimenslanal pictures of cammon objects, Percepi Psvchophys , - , , ' Lebaz, Sainuel, Christophe JouHrais & Delphine Plcard, Haptic idcntijlcation of raiseddine g drawings hlgh visuospatial Imagers outperform low visuospatial imagers, Psychol Res - , L Likert, Rensis hc William И Quasha, Minnesota Paper Form Board Test, The Psychological Corporation, ehnologii de asistare a persoanelor cu deficiențe vizuale puns sunt echivalenți în acest studiu, s-au utilizat două tipuri de desene cu trăsături în relief care diferă prin prezența sau nu a unor indicii D, ca unele distorsiuni de proiectare (big ) Conform rezultatelor lui Lederman et al ( ), subiecții erau mai buni și mai rapizi in identificarea desenelor D decât D Surprinzător, capacitățile dc reprezentare vizual-spațială a imaginilor au avut un efect asupra recunoașterii Г) prin simț tactil, dar nu și asupra identificării desenelor D Fig Desene D (stânga) >/ D (dreapta) utilizate în studiul lui Samuel Lebaz &al , Clasificarea emoțiilor pe chipuri (pe figură) In final, o problemă deosebit de interesantă a fost aceea de a afla dacă adulții nevăzători pot înțelege expresii faciale emoționale explorând imagini cu trăsături in relief Prin urmare, s-a elaborat un ultim studiu în care adulți văzători și orbi trebuiau să clasifice imagini reprezentând chipuri ce exprimau diferite emoții în timp ce rata de succes nu varia semnificativ între cele două grupuri, adulții orbi erau mai rapizi S-a arătat și că există corelații puternice între clasificările realizate de orbi și de văzători Acest lucru confirmă faptul că anumite imagini tactile pot fi înțelese fără a recurge la reprezentări ale imaginilor sau la experiența vizuală (Heller ; Kennedy ; Delphine Picard et al ) Concluzii cu privire la percepția imaginilor prin simțul tactil Lucrările precedente au arătat că nevăzătorii au performante echivalente cu cele ale subiecților văzători pentru a percepe forme tactile simple, fără semnificație Prin urmare, se parc că nu există, la orbi, un deficit deosebit în mecanismele de bază ale percepției prin simțul tactil Atunci, eventualele diferențe de performanță în ceea ce privește recunoașterea observate între orbi și văzători ar putea proveni din J j) Lederman, Susan J , Roberta L Klatzky, Cynthia Chataway & Craig D Summers, Visual mediation and the haptic recognltion of tw o-dimensional plctures oj common abjects, Percepi Psychophys - , ' Heller, Morton A , Picture and patternperception in the sighted ard the blind: the advantage of the late blind, Perception - , ' Kennedy, John M,, Drawing and the blind: piciures io tcuch Yale University Press, ^ Picard, Delphine, Samuel Lebaz, Christophe Joullrais & Catherine Monnicr, Haptic recognltion of tw o-dimensional raised-llne patterns by early-blind, late-blind and blindfolded sighted adults, Perception - , iHRISTOFHE JOUFFRAIS conținutul semantic atașat imaginiloi sau din codurile picturale care le compun Studiul percepției de imagini cu semnificație la văzători evidențiază faptul că capacitățile dc reprezentare a imaginilor sunt corelate cu performanța în ceea ce privește recunoașterea imaginilor D, insă nu și a imaginilor D Este probabil că percepția imaginilor D este dependentă dc mecanisme de integrare suplimentare In final, s-a arătat că nevăzătorii sunt capabili să recunoască emoții pe imagini tactile ale unor chipuri Rezultatele sugerează că procesele de recunoaștere sunt bazate pe indicii locale mai degrabă decât pe o analiză globală a chipului Conceperea unui dispozitiv interactiv de asistare pentru explorarea hărților Există mai multe faze în navigare Pregătirea permite obținerea unei vederi de ansamblu a zonelor în cauză și crearea unui itinerar pentru a ajunge la destinație De obicei, persoanele cu deficiențe vizuale efectuează această procedură înainte de a se deplasa, într-un mediu sigur Hărțile tactile sunt utilizate în educația persoanelor cu deficiențe vizuale de mult timp pentru a transmite idei care au o componentă spațială Ele au fost utilizate ca ajutor pentru orientare (Golledge ) și ca ajutor pentru învățarea mobilității (Ungar et al ; Ungar et al ) Hărțile tactile permit extinderea înțelegerii unui mediu dincolo de ceea ce permite experiența directă Cu toate acestea, o hartă fără etichete și legende este inutilă, ceea ce pune probleme în conceperea și utilizarea hărților tactile într-adevăr, etichetarea în Braitle nu este flexibilă și devine repede supărătoare (Tatham & Dodds ) Iar utilizarea de etichete într-o legendă separată reduce rapiditatea percepției și introduce probleme de interpretare (Hinton ) în prezent, există numeroase instrumente disponibile pe internet (de exemplu Google Maps) care permit consultarea de hărți și selectarea de itinerare In plus fină de hărțile vizuale, aceste instrumente dau indicații textuale de ghidare sub forma uncr foi de drum (itinerar descris într-un reper egocentric) care pot fi accesibile datorită unui cititor dc ecran Totuși, după cum s-a precizat anterior, aceste instrumente au ia bază sisteme informaționale geografice concepute pentru vehicule, \cestea nu pe mit generarea de itinerare pentru pietoni, cu atât mai puțin pentru pietoni cu deficiente vizuale In toate cazurile, aceste instrumente nu permit dobândirea unei reprezentări alocentrice a mediului care este suportul necesar aplicarea unor strategii cognitive O soluție ar fi să se conceapă o harta digitală multimodală (nevizuală) care să includă itinerariul dorit Gclledgc, l'igiiinhl ti, Iactual sirlp maps as navlgational aids, Journal of Visual linpainuent & Blindness « , - , J, f linear, Siinon, Мик Bludes & ( lirlfilopher Sponoer, The role of tactile maps in mobilitv training, Brjtish Journal of Visual linpuinnent , Ungar, Slmon, Mari' Blades & Chrlstopher Spetw Tisually impaired children's strategies for meniorhing a mup Bntlsh Journal ofVisunl Impainnent , ’ , , J r^ ^ț ' /*/ '"'‘'“ '"' :' Ц Ja asistare a persoanelor cu deficiente viz uale Prototip Principiul care a fost reținut în ceea ce privește un prototip de hartă interactivă multimodală este cel al unei hărți pe hârtie cu trăsături în relief, așezata pe un ecran interactiv multitouch Un astfel de prototip permite o mare flexibilitate în ceea ce privește configurările hărților, interacțiunile, testele și evaluările Aceasta implică determinarea ecranelor interactive compatibile și producerea de hărți compatibile J Hărți în relief Imaginile in relief sunt obținute în mai multe moduri Se utihzează, în special, două procedee: fie datorită unor materiale sensibile la căldură (hârtie Swell), fie prin presiune pc o folie de plastic deformabilă (hârtie Mylar) în ambele cazuri, mmele obținute prezintă un relief ( mm) și devin perceptibile cu degetele mâinii Planurile in reliefau o istorie lungă în domeniul geografiei (Golledge et al ) Reliefarea adaugă o dimensiune care aduce imformații suplimentare hărților vizuale Sc utilizează planuri în relief pentru a reprezenta topografia Evident, există și planuri în relief concepute special pentru persoanele cu deficiențe vizuale Fig Stânga: harta Australiei pe hârtie termoformată (se disting etichetele ș legenda în Braille) Dreapta: caiet suplimentar, cu simbolurile utilizate care însoțește hărțile Planurile conțin deseori etichete sub formă de abrevieri în Braille; în acest caz, ele necesită o legendă care explică abrevierile Simbolurile utilizate diferă de la un plan la altul, prin urmare este necesar să se adauge o legendă care explică simbolurile utilizate (a se vedea Fig I I) Utilizatorii comandă aceste produse la RNIB (Royal National Institute of Blind People) în Anglia sau la „The Princeton Braillelists” în Statele Unite ale Americii I? Golledge, Reginald G , Matthew liicc & Daniel R Jacobson, A Commentary on the Pe of Touch for Accessing On-Screen Spațial Representations: The Process of Txperiencing Haptic Maps and Graphics, The Professional Geograpber - , - ‘NU*- CHRISTOPHE JOUFFRAIS Fig Imaginea din stânga: cuptor pentru producția de hărți termoformate Imaginea din dreapta: Harta unui cartier din Toulouse produsă la IRIT Munca lui Anke Brock (Anke Brock ) a permis instituirea, la IRIT, a întregului lanț de producție de hărți în relief Metoda de producție pe care am ales-o este cea a hârtiei termoformate („swell paper”) Planul este imprimat pe o hârtie specială care conține în învelișul său microcapsule cu alcool Când este trecută prin cuptor, capsulele de alcool se măresc și creează relieful (a se vedea Fig ) Această tehnică este, în primul rând, mai puțin costisitoare decât celelalte Imaginile pot fi pregătite cu ușurință pe un calculator și este simplu să se imprime din nou aceeași imagine De altfel, această tehnică este adaptată în mod special pentru utilizarea de hărți cu durată scurtă de viață în opinia lui Tatham ( ) este preferabil să se limiteze numărul minim de mărci tactile, iar criteriile pe care el le propune pentru o bună concepție a hărții sunt: claritatea, pertinența și precizia; fiecare dintre aceste criterii se aplică pentru dimensiunile „obiectiv”, „așezare în pagină” și „producție” Ecran interactiv multitouch Mai multe interfețe tactile bazate pe diferite tehnologii (rezistivă, capacitivă, F fIR, infraroșie, cu unde de suprafață etc ) au fost testate în final, s-a optat pentru un ecran multitouch Stantum Prototipul este compus din patru module conectate prin „middleware Ivy”: pilotul adaptat reacționează la evenimentele care sunt transmise hărții în format SVG Elementul atins pe hartă declanșează un mesaj care activează ieșirea audio cu condiția ca aceasta să corespundă unei atingeri (ieșirea sunetului nu trebuie să fie declanșată în timpul explorărilor) Se utilizează o configurație modulară pe magistrală logică, ceea ce permite adăugarea cu ușurință a unor funcționalități (de exemplu, un afîșaj Braille) SabaUerJToub^X^ l ,t,W ^S'dtion ofEmotions in Kaised-“S d|”i,,e ^«ijkation of raised-line for blind people; whyandho», Paper presented to the l i^ l tuoioa S* “J n,apS v identification of raised-line ais, Usage of multimodal niaps Tehnologii de asistare a persoanelor cu deficiențe vizuale obiectelor mult mai repede decât cu o abordare tradițională de tipul „scoreboard” Aceste rezultate capătă importanță știind că mai multe programe de implantare de retine artificiale sunt în curs în present, inclusive în Franța Abordarea permite utilizarea implanturilor într-un mod mult mai util și utilizabil în sarcini de localizare și navigare decât prin abordarea tradițională Fig Prototip actual asigură două funcții de ajutor: localizarea de obiecte apropiate și poziționarea, (figură preluată din Brian F G Katz el al, VRJ ) Figura prezintă un dispozitiv care integrează camere stereoscopice cu o centrală inerțială, un GPS cu o centrală inerțială și un ansamblu de interacțiuni intrare ieșire bazate pe voce și sunet Proiecte de cercetare în dezvoltare Cercetarea întreprinsă în acești ultimi ani a permis validarea ipotezei de localizare a obiectelor ca bază pentru supleanța spațială S-a demonstrat că cele două tipuri de supleantă avute în vedere (prin realitate mărită și prin interacțiune creier-mașină) sunt funcționale S-au prezentat, în special, primele rezultate și prototipurile unui dispozitiv de asistare pentru navigare care include un sistem de vedere artificială (camere + algoritm de recunoaștere și localizare a obiectelor), o arhitectura distribuită care permite fuzionarea oricăror tipuri de date în intrare și un sistem de sinteză binaurala în ieșire care permite mărirea obiectelor în spațiu cu informații sonore vir tuale, Această abordare, materializată printr-un dispozitiv experimental, este astăzi baza unui proiect de colaborare (NAVIG), finanțat de ANR și etichetat de polul de competitivitate Aerospace Valley în secțiunea următoare vor fi descrise piedicile apărute în derularea acestei cercetați, la care se lucrează în prezent și iu următorii doi ani Pe parcursul avansării acestei cercetări cu privire la asistarea navigării s-a identificat clar importanța de a concepu un simulator de navigare în realitatea virtuală Acest simulator ar permite evaluarea tehnicilor de poziționare și conceperea unor metode de interacțiune și de ghidare novatoare, mai rapid, în situații controlate Л se vedea http://navig irit fr CHRISTOPHE JOUFFRAIS și ftrâ risc pentru utilizatori O altă ipoteză este că aceste metode vor fi transferabile într-o situație reală, in situ *\l patrulea aspect al cercetării are in vedere explorarea unor harți interactive multimodale Este deosebit de important pentru persoanele cu deficiențe vizuale să poată pregăti o deplasare căutând repere și itinerarii adaptate capacitățiilor și tehnicilor lor de mobilitate și de orientare Se dorește extinderea acestei cercetări către HN prin interacțiunea multimodală cu haiti în relief interactive De asemenea, este foarte important tematica interfețelor creier-mașină și a simulatorului de neuroproteză conceput Acest simulator este bazat pe ipoteza principală conform căreia localizarea unor obiecte pertinente în funcție de sarcină și de context permite recuperarea a numeroase comportamente vizual-motorii împreună cu Marc Mace, s-a planificat realizarea a numeroase lucrări referitoare la aspectele tehnologice, fundamentale și comportamentale ale neuroprotezelor vizuale în colaborare cu Institutul Tinerilor Orbi din Toulouse, se încearcă reunirea cercetătorilor, a persoanelor cu deficiențe vizuale și a formatorilor în jurul unor proiecte comune privind tehnologiile de asistare pentru persoanele cu deficiențe vizuale Asistare electronică pentru navigare Descrierea proiectului Obiectivul final al proiectului este de a concepe un demonstrator interactiv care să permită evaluarea pe loc (la universitate, dar și în centrul orașului) a dispozitivului NAVIG în scenarii clar definite ca problematice pentru persoanele cu deficiențe vizuale Această evaluare este posibilă datorită participării Institutului Tinerilor Orbi, pe de o parte, și datorită proiectului Toulouse OPEN care pune la dispoziția cercetătorilor toate instrumentele necesare evaluării precise, in situ, a dispozitivului Pentru obținerea și modificarea bazelor de date geografice, s-a realizat o colaborare cu serviciul S G al comunității Grand Toulouse D într-un punct de vedere fundamental, acest proiect va permite realizarea unor progrese importante în muroștiințe (percepție auditivă, acțiuni auditive ghidate, cogniție spațială la nevăzători), dar și în domeniul supleanței pentru nevăzători (interacțiunea om-mașină, întrebuințări și utilizabilitate a sistemelor de supleanță) Л Principalele obstacole , obstacole tehnologice se situează la nivelul vederii artificiale și a poziționării, Obstacolele de ordin științific se situează, pentru neuroștiințe, la nivelul ЯХЭТ Sp >tial° T Și , acliuuii ghidilte auditîv> br pentru IHM, la nivelul supleanței funcționale șt al interacțiunii degradate " listxx zisa“■“«* **- "■ ** ansamblu de teste prealabile în laborator lAUul ‘kvsU)l evHluftri, se preferă efectuarea unui Tehnologii dc asistare a persoanelor cu deficiențe vizuale Unul dintre obstacolele tehnologice ale modulului de vedere artificiala constă în specificarea și conceperea numărului, mărimii și ierarhiei modelelor necesare pentru a ajunge la o fiabilitate și o robustele de detectare a țintelor (în special D) compatibilă cu întrebuințările dispozitivului Un obstacol de ordin științific constă în studiul și dezvoltarea unui algoritm care pornite modificarea, în mod dina-'ic, a rezoluțiilor de cercetare a modelelor, precum și utilizarea fluxurilor optice pentru detectarea obstacolelor Aceste aspecte teoretice și aplicarea lor la supleanța pentru nevăzători vor fi adresate în cadrul colaborării între IRIT, CerCo și SpikeNet Technology și, în special, în cadrul tezei lui Adrien Brilhault Obstacolele potențiale pentru ghidarea auditivă sunt conflictele între redarea audio și lumea reală, precum și designul ergonomie al paletelor de sunete pentru o utilizare cotidiană Aceste două aspecte fac să apară constrângeri tehnologice și ergo-nomice Pentru componenta tehnologică, LIMSI, partener al proiectului, lucrează ia problema echipamentului cel mai bine adaptat pentru realitatea auditivă mărită și se va referi la problemele legate de designul sonor și de ergonomie în colaborare cu aceștia (echipa lui Brian F G Katz și M Denis), se va încerca o mai bună înțelegere a capacităților perceptive și cognitive ale utilizatorilor, precum și acțiunile care survin de aici Această cercetare a fost inițiată în cadrul tezei lui Florian Dramas la IRIT și este reluată în cadrul tezei lui Gaetan Parseihan, condusă de Brian F G Katz (LIMSI) La IRIT, în colaborare cu Philippe Truillet, MCU în informatică din echipa ELIPSE, se derulează o cercetare cu privire la fuziunea unor date heterogene (în special poziționarea GPS, centrala inerțială și vederea), luând în considerare constrângerile legate de sistemele informaționale geografice Această fuziune poate fi asimilată unei fuziuni „multimodale” în care datele corespund unor fluxuri concurente și/sau complementare care diferă prin natura, frecvența de eșantionare și semantica lor Se va încerca să se demonstreze că fuziunea acestor date permite ameliorarea în mod semnificativ a poziționării pietonilor nevăzători în medii zgomotoase (de exemplu, orașul) și, prin urmare, creșterea autonomiei lor în sarcini de navigare (de exemplu, a merge la poșta din centrul orașului și a găsi cutia poștală) Această cercetare este în curs în cadrul tezei lui Slim Kammoun, condusă de Christophe Joufrais, cu ajutorul unui inginer contiaulual (O Gutieirez), finanțată prin proiectul NAVIG Simulator de navigare EOA (ajutoare electronice pentru orientare) sunt dedicate asistării orientării Și sunt constituite din trei elemente esențiale ) un sistem de poziționare (GPS de exemplu), „ , , ) Sistem informațional geografle (SIC) oare «uponde ««așț «mp, о harta digitală i sorturi concepute pentru a se«la tmerare, a urma , teascul calatorului și a-i furniza informații pentru navigaic, « o interfața utilizator 'ara are la bazS o intemefun uev zuuld (m general aud,«va sau tactilă) CHRISTOPHE J Ol IFFR ЛIS Toate aceste trei componente sunt la originea unor piobleme legate de e i ciența utilizării Primul obstacol are în vedere eroarea dc poziționare GPS care este deseori mai mare de metri, ceea ce nu este compatibil cu ajutorul pentru navigare pentru persoanele cu deficiențe vizuale , Al doilea obstacol arc în vedere SIG care, în general, conțin exclusiv in or-mații care privesc rețelele rutiere și nici o informație relativă la zonele pietonale In sfârșit, ultimul obstacol are în vedere interacțiunea între utilizator și sistem și interacțiunea de ghidare Acestea trebuie concepute în cadrul unei colaborări cu persoanele cu deficiențe vizuale și cu formatorii în domeniul locomoției Pentru a accelera procesele de concepție, mediile virtuale interactive reprezintă o platformă prețioasă pentru a izola în mod selectiv diferitele componente și a le e\ alua în mod sistematic în laborator înainte de a fi evaluate la fața locului I- ig Soft dedicat de simulre a mediului virtual - programat pentru zona de amplasare a institutului IRIT (instantiere din programul conceput la IRIT) care să permită auditive și haptice Această ; mediu virtual care reprezintă un i procesele de ghidare înainte d S-a demarat dezvoltarea unei platforme experiment de ГГ"“І Г,С“ ’i*-*■ * Wtam un „ „In, vil u„| pri„ tificial " Hdh andGPStoImprove BlindPedestrian Positioning, Paper presented at the th IFIP International Conference SSXSSESb ■—« ■ t Bnndlev Giles S„ Peter E K Donaldson, Murray A Falconet & Dav,d ^p^’ ^fsTp ^ ?°" °f occipital cortex thatwhen stimulated gives phosphenesfixed in the visualfield, J Physiol P- P, Brindley Giles S & Walpole S Lewin, The sensations produced by electrica! stimulation of the visual cortex, J Physiol - , - rmc 'r t ™in Brock Anke Cartes inter active s multiniodales pour pietons malvoyants, Mașter thesis uf S, I oulouse, JIU Brock Anke Philippe Truillet, Bemard Oriola & Christophe Jouflrais, Usage of multimodal mapsfor blind people: whycmdhow, Paper presented to the ITS' , a Brock, Anke, Jean-Luc Vinot, Bemard Oriola, Slim Kammoun, Philippe Truillet & Christophe Jouffrais, Methodes et outils de conception participative avec des utilisateurs non-voyants, Paper presented to the II IM , b Bruce, Ian, Aubrey McKennel & Errol Walker, В/Ы and partially sighted adults in Britain: The RNIB Needs Survey, Volume HMSO, London, Buisson, Marcellin, Alexandre Bustico, Stephane Chatty, Fran?ois-Regis Colin, Yannick Jestin, Sebastien Maury, Christophe Mertz & Philippe Truillet, Ivy: un bus logiciel au service du developpement de prototypes de systemes interactifs Burrough, Peter A , Principles of geographical Information systems for land resources assessment, Clarendon Press, Caddeo, Pierluigi, Ferdinando Fomara, Anna Maria Nenci & Amelia Piroddi, Wayfinding tasks in visually impaired people: the role of tactile maps, Cognitive Processing - , Capelle, Christian, Charles Trullemans, Patricia Amo & Claude Veraart, A real-time experimental prototype for enhancement of Vision rehabilitation using auditory substitution, leee Transactions on Biomedical Engineerini - , Casey, Steven M , Cognitive mapping by the blind, Journal of Visual Impairment & Blindness - , Casiez, Gery, Nicolas Roussel, Romuald Vanbelleghem & Frederic Giraud, Surjpad: riding towards targets on a squeezefilm effect, Paper presented at the CHI , Vancouver, BC, Canada, C ark-Carter, David D , Anthony D Heyes & lan Howarth, The efficiency and walking speed of visually impared people, Ergonomics , Dejeammes, Maryvonne, Gerard IJzan, M'Balo Seck & Catherine Sidot, Deplacements des deficients visuels ei milieu urbain: analyse des besoins en securite, localisation et orientation et pistes d'evolution, CERTU, Dijksțra, Edsger W , A note on twoproblems in connexion with graphs, Numerische mathematik - , o elle, V, illîam H & Michael G Mladejovsky, Phosphenes produced by electrical stimulation of human occipital conex and their application to the development of a prosthesis for the blind, J Physiol - Dobelle, Wilham H Michael G Mladejovsky & John P Girvin, Artificial Vision for the blind: electrical stimulation oj visualcortex offers hope for a funcțional prosthesis, Science - , °exnffnf DaV'd Clark'Carter> The mental mops of the blind: The role of previois visual experience, Journal of Visual Impairment & Blindness - , О°тЙо£П ІЙ?У enhancement usinS simulated artificial human vision, PhD: Queensland University of ^LondoMm’ & DaV'd Stea’ ,ma e & envlronment: Cognitive mapping and spatia! behavior, Edward Amold, Dramas Ж,' mMsl refleCU nS со» '^PPbig, Harper & Row, University ofToulouse , France ’ ' nol -'’ )'ants : augmentation sensorielle el neuroproihese, PhD: Ада/а/лрасе ’рар^радспиУаиЬг^ Joulhais, Auditoțy-guided reaching movements in the peripersonal Dramas f lorian, SiX Thorpe & iris X Ioni Гі T‘St n” S°C‘e? °f Anwrica’ d'image: analyse du besoin etprototvnaee Pnni-r ? “'' bjets pour Ies non-voyants par analyse Dramas FlorianfSirron J ThorpC &ЖХп X"Ю ASS*STH’ Tou'ouse>FR- ( - Por Objecte And Obstacles Detection Iniei unii», ’ Аг!^ЯІ l'’lsion For ne Blind; ? Biodnspired Algorithm Durette, Bartheitoy, Trahentem dt sfnfl " Ім Glill’hics '", - - D ли Un‘versiW Grenolllc ‘ ° K №s vlsuelleit; npproche biom sensorv substitutionfor Enksson, Yvonne, TactileРГСІІІГ№ Cy V? ' ' Marseil,e» ' rsjm the blind Acta Universitatis Gothoburaensis, , ehnologii de asistare a persoanelor cu deficiențe vizuale Farcy Rcn & Roland M Damaschini Guidonce - Assist systems for the blind Paper presented at the Proccedings of the Biomonitonng and Endoscopy echnologies, ё Farcy, Rend, Rogcr Ecix)ux, Roland M, Damaschini, Richard Legras, Yacine Belhk Christophe Jacquet, Janet Grecne & ierre I ai do Laser lelemetry to improve the mobility of blindpeople: Report of the month traming course, Paper presented at the COST, s Farcy, Reni» Roger Leroux, Alain Jucha, Roland M Damaschini Colettc Gregoire & Aziz Zngaghi, Electronic ti avei aids and electronic orientat ion aids for blind people: technical, rehabiliiation and everyday life points of v/ew\ Paper presented at the CVHL Fish, Rayinond M , An audio display for the blind Biomedical Enginccring, IEEE I ransactions on - Fixe, Dcnis, Maxime Cauchoix & Christophe Jouffrais, Visual scene Processing Dynamics in Monkeys building the iiformation content oj a visual neuroprosthesis Paper presented at the Congres FRM/ RME/ICM sur Ies Interfaces Cerveau-M adune Paris, France, Fletcher, Janet F , Spatia! Kcpresentation in Blind Children : Development Compared to Sighted Children Journal of Visual Impairment and Blindness - , Foulke, Emerson The perceptual basisfor mobility, American Foundation for the Blind Research Bulletin, Foulke, Emerson, Perception, cognition, and the mobility of blind pedestrians Spațial abilities: Developme it and physiological foundations, ed by M Potegal, - : New York: Academic Press Fujiki, Nobuya, Klaus A Riederer, Vcikko Jousmaki, Jyiki P Makela & Riitta Hari, Human cortical representation of virtual auditory space: differences between sound azimuth and elevation, Eur J Neurosci - Gallagher, Blaithin & Waltcr Fiasch, Tactile Acoustic Computer Interaction System: A new type of Graphic Acces > for the Blind, Paper presented at the rd TIDE congress , Helsinki, Gallistel, Charles R , The orgamzation oflearning, The MIT Press, Garling, lommy & Reginald G Golledge, Cognitive mapping and spațial decision-making Cognitive mapping past, present and iuture, ed by R M Kitchin & S Freundschuh, - : Routledge, Girvin, John P , Jerald R Evans, William H Dobelle, Michael G Mladejovsky, David C Henderson, Israel Abramov, James Gordon & Joseph Turkel, Electrical stimulation of human visual cortex: the effect of stimul :s parameters onphosphene threshold, Sens Processes - , Golledge, Reginald G , Tactual strip maps as navigational aids, J Visual Impairment&Blindness - , Golledge, Reginald G , Geography and the disabled: a survey with special reference to Vision impaired and blind populations, Transactions of the Institute of British Geographers - , Golledge Reginald G , Wayfinding behavior: cognitive mapping and other spațialprocesses, JHU Press, Golledge, Reginald G , Matthew Rice & Daniel R Jacobson, A Commentary on the Use of Touch for Accessiig On-Screen Spațial Representations: The Process of Experiencing Haptic Maps and Graphics, The Professiona’ Geographer - , Golledge, Reginald G & Robert J Stimson, Analytical behavioural geography, Guilford Press, Guivarch, Valerian , Modelisation d'une neuroprothese de reconnaissance et de localisation d’objet dans Tespace, Mașter IT-ICSC: University of Toulouse , ■ iztsopoulos, Nicholas G & John P Donoghue, The science of neural interface systems, Annual Rev:e v of Neuroscience - , Helal Abdelsalam, Steven Edwin Moore & Balaji Ramachandran, Drishti: An integrated nadgatior sys em fer visually impaired and disabled, Paper presented at the ISWC'Ol, Zurich, Switzerland, Helkr, Morton A , Picture and pattern perception in the sighted and the blind: the advantage of the late blr d, Perception - , Heller Morton A Tactile picture perception in sighted and blindpeople, Behavioural Brain Res - , HeJEr, Morton A & John M Kenncdy, Perspective taking, pictures, and the blind, Percept Psychophys - , Heller, Morton A , Melissa McCarthy & Ashley Clark, Pattern perception and pictures for the blind, Psicologiea - , Heuten, Wiko, Daniel Wichmann & Susannc Boli, Interactive D sonification for the explorat ion of City maps, Paper presented to the NordiCI II , , Hinfon, Ron, Tactile and audio-tactile Images as vehicles for learning, Paper presented to the Nwvisual human-computer interaclions: prospecte for the visually handicapped, Paris, , HoJIyfieJd, Rcbecca L ѵтІагіс^ (« ) R iUdMF d l S e d Solidarii StreVow^^lward W movement, Academic Press» the bhnd, Psychological reviewtwc^^ °J ihrect pmeptlow and cognitive maps-Essonsfroni Jor Vis^aUyll^ thf bUeniaHo^ ^mposium on Maps and Graphics for Visually Impaired People Notlingham UK ° * ^CCOIkl ,nternul‘onaI Symposium on Maps and Graphics Г lrwlor Kewareh Institute ot‘Electronics, Shizuoka Univrsitv, - - '!Ia'r‘am«lsu -Wli, Japan, autor a westui capitol, colaborare dezvolte» ca "d* cenl rin,a "««Academia , Budapesta în cadrul proiectului G u/’’,>■ PL ““i'"’ WIAlil dezb,Uwl> Perspective”, Uniunea Europeana șl R-surseliM tJmane ?(ип o c'i * ч?!’ □" l>l''Sr,,,nu' Opwțiowri Sectorial Dezvoltarea de Mihaela Cosm, " ' J • ^'VAcutleipiu itomltaa; capitol tradus, editat, adaptat, ІЛчроіШѵе Imagistice decoltate de CenUul de Ехсеі&щі Secolul n • V• ,T dC vcrcc",lc ' Camwy of Excellence (CE) din cadrul Universității Snizuoka a propus utilizarea imagisticii cu rezoluție nanometrieft (NV nanovision) Unul dintre obiectivele NV constă în dezvoltarea unor dispozitive de mistică cu performanțe dc ultimă generație, în domeniul tempo, d, spațial, dinamic sau al lungimii de undă prin utilizarea nanotehnologici Capitolul de față desciie următoarele dispozitive utilizate în NV- - un senzor de imagine TR-CMOS (TR - „timc-resolvcd”, CMOS - abrevierea de la „complementary metal-oxide-semiconductor”), deci CMOS cu o bună rezoluție temporală, bazat pc măsurarea timpului de viață al fluorescentei ; - un microscop optic pentru vizualizarea excitării cu un fascicul de electroni; - un senzor dc imagine din CdTe în domeniul razelor X care este capabil să identifice numărul atomic și densitatea de electroni Senzor de imagine de tip TR-CMOS pentru imagistica timpului de viață al fluorescentei Imagistica de fluorescență este un instrument puternic utilizat în biologie luorescența are două mărimi fizice caracteristice: intensitatea și durata Măsurarea intensității este dificilă, deoarece aceasta este influențată de concentrația de fluorofor, starea de degradare a acestuia, lungimea de undă și intensitatea fluxului de excitație, sensibilitatea detectorului și transmitanța sistemului optic Pe de altă parte, măsurarea duratei fluorescenței utilizează rata de scădere a intensității Astfel, cuantificarea, nu este influențată de degradarea intensiv fluorescenței Metoda de numărare a unui singur foton, corelată în timp, este o metod?, pică folosită în microscopia imagistică a timpului de viață al fluorescente IM fiuorescence lifetime imaging microscopy) Senzorul TR-CMOS poate fi m a Lamentat relativ ieftin, într-un sistem FLIM compact Figurile (a) și (b) prezintă o diagramă bloc a măsurătorilor timpului de viață a fluorescenței și respectiv deger dența numărului de fotoelectroni captați în fereastra de timp ca o funcție dc t în senzorii CMOS Atunci când un impuls foarte scurt de lumină (de obicei mai mic de ps) iradiază o probă fluorescentă, proba emite o fluorescență cu o scădere exponențială rapidă, de obicei intre o nanosecundă și câteva zeci de nanosec înde Hidenori Mimura, Kazuhiko Нага, Shoji Kawahito, Tom Aoki, and Noiihisa Hiromoto, Nanovision Science-Evolution of Imaging Technology, Corona Pub Со Ltd , ( ) in Japanese Zhuo Li, Shoji Kawahilo, KHta Ya-aitorni, Keiichiro Kagawa, Juichiro Ukon, and Hi rom ко Nimka» A TimedCesolved CMOS Image Scnsor Wilh Draining-Only Modulation Pixek to Fluoresccnce Lifetime Imaging, IEEE Trans Electron Devices, ( ) «Vataru Jnami, Kentaro Nakajima, Alsuo Miyakawa, and Yoshtmasa Kawato, HecLon beam excitation assisted opthal microscope wilh ultra-higli resolutlon, Optica Lxpn ( ) Wenjuan Zou, Takuya Nakashima, Yoshiaki Onishi, Akîtumi Euike, Buuji Shinomiya, llivishi Morii, Yoichiro Neo, Hidenori Mimura, and Tom Aoki, Atomic Number and Electron Densițy Measurement Using a C onvențional X*ray • ubc and a C dle Det , unde n este numărul inițial de electroni, Z-foeste întârzierea generării fotoelectronului, iar rj(este timpul de viață măsurat Pentru măsurarea dS^t'J colXt întrra,tC a semnalului electronic de fluorescentă este seutăîn f neX ? de “mP FereaStra de t,mP folosită >a detecție este setata m funcție de tensiunea de poartă Vm a fotod iodei Dispozitive imagistice dezvoltate de Centrul de Ezcclenfii Secolw Fotoelectronii generați simt acumulați dc un colector electronic în fiecare perioada Г a ferestrei de timp Punctul de start al ferestrei de timp este întârziat folosind un generator de întârziere, iar electronii sunt colectați de la momentul td până la momentul / - T Dacă f este ales cu valoarea zero pentru a simplifica, numărul de electron colectați A' (/ -) este exprimat ca: pentru > ) Wa Лг(/, ) = - d pentru (t , x(pm) Fig Prezentarea structurii intregului pixel DOM Dispozitive imagistic e dezvoltate dc ( ^ntnd de Excelență Secolul Figura (a) and (b) reprezintă o secțiune transversală a pixelului și profilele de potențial de-a lungul direcțiilor: PPD PSD (X-X’) (a) și respectiv PPD - drena (Y-Y*) (b), pentru a explica mecanismul de modulare în sarcină a pixelului DOM Când poarta TD este închisă, se creează un câmp electric lateral pozitiv monoton pentru transfer de sarcină la viteză înaltă din PPD la PSD așa cum se observă în curba punctată din figura (c) care arată funcționarea pentru modularea sarcinii foto generate Când poarta TD este deschisă, o scădere de potențial se produce în calea de transfer a purtătorilor, așa cum se observă în curba solidă (continuă) din fig d Purtătorii care cad în această groapă de potențial sunt drenați prin poarta TD Operația de citire a electronilor generați de fluorescent este ilustrata în fig e După detectarea repetată a semnalului din fereastră, semnalul stocat în PSD este citit utilizând o operație de dublă eșantionare corelată (CDS - correlated double sampling) Pentru aceasta, mai întâi se resetează FD, și apoi sarcina din PSD este transferată la FD prin procesul de citire, în timp ce TD este întotdeauna deschisă pentru drenarea electronilor de întuneric în PPD Fig , Secțiune transversală a,,pixelului” și profilele de potențial de-a lun^ d direcțiilor: PPD - PSD (X-X’) (a) și PPD - drena (Y-Y') (b)(c) și (d) arată funcționarea pen:ru modularea sarcinii foto generate (e) arată semnalul de citire secvențială in p vel ui DO' l Un semnal de fluorescent dintr-o fereastră de timp, poate fi detectat astfel: în timpul excitației cu impulsul de lumină, poarta I D este deschisă pentru a drena sarcinile nedorite generate direct de pulsul de lumina incidență Ca urmare se emite radiație de fluorescent care descrește exponențial și care generează sarcinTsemnaL Poarta TD rămâne deschisă până I»începutul ferestrei de timp în timpul terestrei de timp, de la la tdH’T, poarta TD este închisă Ca urmare, o parte din semnalul descrescător generat în PPD este transferai în PSI) Procesul este repetat de multe ori utilizând ferestre de timp cu aceeași întâiziere față de pulsul de lumină excitatoare pentru a intensifica slabul semnal de fluorescentă H DEN R MIMURA Pentru a detecta electronii semnal intr-o altă fereastră dc timp, se utilizează o altă întârziere temporalii t alori întotdeauna mai mici decât mm Нет I iow cncrgy Дет ligii energy z«xp % оГ ааГ’ IOT (%) c li (l + X * X О ІІбхОХСІ * X * X | * X + X ± X * X j Mg vl II x X л + ■ **«= , = г X ±G € * X - ; - - Ir * + X j Al X X + X i = ^= * X * X * X L ; O S+O * X + , $ x X S Ti J +CXC * X + * ^= L^- ilfrVr I x X + X + * -t I ±OX + X + x abeful Datele experimentale atașate figurii , pentru fiecare material eleme;v a! - prcoe cu diametre Sunt notate și rezul ațele teoretice ale densității de electroni pentru fiecare element Concluzii Capitolul descrie un număr de dispozitive în domeniul nanovision (NV) dezvoltate de grupul de excelență COE al Universității Shizuoka, Japonia, printre care: un senzor di imagine CMOS cu rezolvare temporală, (TR-CMOS, time-' '/; in,aȘes‘ nso,)> pentru imagistica de fluorescentă rezolvată temporal ' , * > ? urne domnia llm>resccnce lifetimo imaging), un microscop optic asistat pți i ex'mație eu un fascicul de electroni și un senzor de imagine în domeniul razelor x cu w YA r Scanner with Multiple Energy Discriminațion Capability, Proc SPIE ( ) QA Stabilirea corespondențelor între pixeli în stereoviziunea binoculară ALAIN CROUZIL , GU LLAUME GALEȘ, SYLVIE CHAMBON ABSTRACT Stereo matching is one of the main topics in computer vision This is an essential step for D reconstruction by binocular stereo vision It consists in finding in two images of a same scene, taken from different viewpoints, the pairs of pixels which are the projections of a same scene point Since the last twenty years, many local and global methods have been proposed to solve this problem More recently, region-based methods showed interesting result in small-baseline binocular stereo (where images are taken nearby) This chapter describes the main approaches of stereo matching A first part presents the local methods that search for correspondents of each pixel independently assuming that the neighbors of two corresponding pixels are similar The next part describes a specific local method based on seed propagation, i e which is based on an inițial set of reliable correspondences, reducing the size of the search area for matching their neighbors Then, another part deals with the global methods that search the correspondent of all the pixels by minimizing a global error over the whole image Finally, the last part describes the methods that rely on a segmentation of images giving regions for which the parameters of a surface model are estimated KEYWORDS: stereo matching, binocular stereo vision, small-baseline, segmentation, disparity тар Introducere in încercarea de a reproduce funcționalitățile percepției vizuale umane, domeniul viziunii computerizate a condus la noi tematici de cercetare S-au realizat sisteme automate care, pornind de la una sau mai multe imagini, percep sau măsoară relieful sau mișcarea, recunosc obiecte, scene, situații Aceste lucrări contribuie la interpretarea scenei pentru a regăsi, a localiza, identifica și caracteriza ceea ce se află sau ceea ce se întâmplă în cadrul scenei fotografiate sau filmate Profesorul Alain Crouzil - IRIT, Institutul de Cercetări în Informatică din Toulouse, cadru didactic la Universitatea Paul Sabatier, toulouse, franța, co-autor a acestui capitol, colaborare dezvoltată în stagiul post-doctoral efectuat de Mihaela Costin în cadrul proiectului POSDRU „Societatea bazată pe cunoaștere, cercetări, dezbateri, perspective”, la IRIT, Toulouse, Franța ’ Capitolul reprezintă o prima publicai e și li aducere a părților comune, ncpublicato, din tezele si rapoartele de cercetare conduse de ) Prof Alain Crouzil Stabilirea corespondențelor între pixeli în stereoviziunea binoculară LI Două camere dc luat vederi pentru percepția reliefului Prin analogie cu sistemul vizual uman, stereoviziunea binoculară utilizează o pereche de imagini ale aceleiași scene captate din poziții diferite Cele două camere de luat vederi se bazează pe principiul vederii binoculare umane care captează razele luminoase ce provin de la scenă, iar poziția diferită permite perceperea adâncimii, Algoritmii de stercoviziune binoculară au ca obiectiv să calculeze poziția în cadrul scenei, și în particular, profunzimea elementelor conținute în cele două imagini Adeseori, aceste elemente sunt puncte, dar unele lucrări, în particular cele din robotică, iau în considerare în aceeași măsură și segmentele de dreaptă în general, sunt necesare patru etape mari pentru a extrage informația de profunzime prin intermediul stereoviziunii binoculare: • Achiziția imaginilor — cele două imagini ale aceleiași scene sunt captate în același timp de două camere de luat vederi diferite sau, în cazul unei scene fixe, poate fi utilizată o singură cameră care achiziționează cele imagini din poziție diferită • Calibrarea sistemului de captare a imaginilor - această etapă constă în determinarea parametrilor interni și externi ai modelului geometric al sistemului de captare a imaginilor (conform Fig ) în marea majoritate a cazurilor, se adoptă modelul camerei pinhole pentru care formarea geometrică a imaginilor constă într-o proiecție în perspectivă Numeroase lucrări au avut ca subiect calibrarea, ca de exemplu [Bocquillon, ] • Stabilirea corespondențelor între pixeli - se referă la regăsirea în cele doua imagini a perechilor de pixeli ce corespund proiecției aceluiași element din scenă (conform Fig ) • Reconstrucția D - constă în calcularea pentru fiecare pixel a poziției în spațiu a punctului care este proiectat pe acel pixel Această etapă, denumită triangu-larizație, necesită cunoașterea corespondențelor rezultate de la etapa precedentă Fig Modelul geometric al sistemului de captare stereoscopică binoculară Acest capitol vizează etapa de punere în corespondentă a pixelilor în cazul stereoviziunii pentru care distanța muc centrele celor două e tmeic erte mică (small- Bocquillon, Benoît, „Contrlbutlons ă l autocahbrage des camdras modeliscuions et solii lons garantieșpar l’analyse d'intervcille", teză dc doctorat, Univeisildlea din I oulouse, Oct I Al AIN CROVZll GUIl A AUMI GA liS, SYLVIECIIAMBON baselincY în figura est o prezentat inodolul stereoscopică binoculară, în cai" pentru că sunt proiecț dreapta Reperele ( , X, , ) | Reperele imaginilor sunt notate cu țo, i ,j ) Șt (o )• i al sistemului dc capturii emani ut «Iiv pixelii notați cu // și / corespund unul cu celălalt iecțiile aceluiași punct P din scenă pe imaginile din stânga și din c > vx • „rf y« sunl reperele camerei dc luat vederi ’* ’ - - - —ț scenei Stabilirea corespondențelor între pixeli Obiectivul punerii în corespondență a pixclilor în cazul stcrcoviziunii binoculare constă în regăsirea în cele două imagini a perechilor de pixeli care corespund proiecției unei singure entități din scenă Este vorba despre o problemă care a făcut obiectul a numeroase lucrări de cercetare deoarece ca prezintă mai multe dificultăți pe care le vom detalia în cele ce urmează, spre deosebire de etapa de calibrare, pentru care există posibilitatea de a pune în practică metode precise și eficace în ciuda eforturilor cercetătorilor, abordările propuse încearcă doar să depășească anumite dificultăți, dar nu ajung să rezolve simultan toate problemele De cele mai multe ori este necesar să se recurgă la un compromis Câteva dificultăți Metodele de punere în corespondență a pixclilor se bazează în general pe următoarea ipoteză: vecinătățile a doi pixeli corespondenți se aseamănă Principalele dificultăți întâmpinate în timpul punerii în corespondență au în esență două rațiuni: • Informații care lipsesc - informațiile care ar permite realizarea unei puneri în corespondență de manieră sigură nu sunt prezente în imagine Este deci dificil de a stabili corespondențe fără o caracteristică discriminantă complementară De exemplu: o Zonele ascunse — se referă la zonele în care elementele scenei vizibile înti o imagine nu apar și în cealaltă imagine deoarece, văzute sub un ah unghi, aceste clemente sunt ascunse de alte elemente din imagine (conform Fig ) o Zonele de discontinuitate a profunzimii — se referă la zonele situate la marginea unor obiecte situate la profunzimi diferite Ceea ce se poate traduce piui vecinătăți ale pixelilor corespondenți care nu se aseamănă în mod necesar (conform Fig ) o Zonele de tăiere — puncte diferite din scenă se proiectează în mai mulți pixeli dmtr-o imagine, dar numai într-un singur pixel din cealaltă imagine Aceasta po este foarte dificil de tăcut distincție mire aceștia (conform Fig ) Stabilirea eorcspondcnțelor mire pixeli în stereoviziunea binoculară o Zoue de textură regulată există o ambiguitate dacă un model se repetă identic (conform Fig ) Imagine - stânga Fig Zone ascunse - pixelul marcat cu un punct alb are corespondentul ascuns în imaginea din dreapta Imagine - dreapta * Cai de abordare Metodele de punere în corespondență a pixelilor se pot împărți în două grupe Prima grupă este cea a metodelor globale care iau în considerare totalitatea imaginii și încearcă să minimizeze o funcție de cost care exprimă erorile de punere în corespondență Cea de-a doua grupă este cea a metodelor locale în care perechile de pixeli corespondenți sunt găsite prin măsurarea similarității vecinătăților lor Corespondentul fiecărui pixel este căutat dintr-o serie de candidați situați într-o zonă de căutare bine delimitată Imagine - stânga Fig Zone de discontinuitate a profunzimii cei doi pixeli marcați cu un punct alb corespund unul cu celălalt dai vecinfttă|ilc lor diferă pentru că sunt apropiați dc o discontinuitate de profunzime Imagine - dreapta M АIX CR VZ L GU LLAUMF GALEȘ, SYLV ECHAMBON Imagine — dreapta Imagine stanca Fig Zone omogene — în zonele omogene nu avem prea multă informație pentru a putea caracteriza pixelii; de aceea este dificil de găsit pixelul corespondent Metodele locale pot fi implementate cu oarecare ușurință și sunt din ce în ce mai utilizate în aplicații diferite Din nefericire, ele sunt sensibile la dificultățile prezentate in paragraful precedent De aceea, există o subgrupă particulară de metode bazate pe creșterea regiunilor (propagation de germes) Ele permit a priori reducerea anumitor ambiguități cu care se confruntă metodele clasice, precum și reducerea timpului de calcul De altfel, clasamentul oferit de protocolul de evaluare a metodelor de punere în corespondență densă a pixelilor pentru stereoviziunea binoculară a lui Middlebur) ' [Scharstein, ]'’ pune în evidență rezultatele foarte bune obținute de metodeie bazate pe regiuni Este vorba despre o familie de metode hibride, deoarece în general ele constau într-o etapă de punere în corespondență locală pentru a inițializa algoritmul, urmată de o etapă de optimizare globală pentru rafinarea rezultatelor Metodele bazate pe regiuni pornesc de la ipoteza că pixelii din aceeași regiune care rezultă in urma unei segmentări de culoare omogenă sunt proiecții ale unei aceleiași suprafețe Această ipoteză este în general adevărată aproape peste tot, iar contururi Ie obiectelor din cadrul scenei, acolo unde se situează discontinuitățile de profunzime, coincid cu marginile regiunilor Organizare a capitolului , Abundența dc lucrări științifice care fac obiectul punerii în corespondența a * * i , ct V ul acestui capitol este să ofere o privire c ansamblu asupra pisteloi care au fost abordate și de a ghida cititorul care dorește să știe mai multe, Sectmnea este consacrată metodelor locale care caută corespondenții fiecărui pixc* mtr-o manieră independentă presupunând că vecinătățile a doi pixeli corespondenți se aseamănă Secțiunea prezintă o abordare locală particulară bazată http://vision middlebury edu/stereo/ S^lis^,Richard- and evaluation of dense twoframe stereo con espondence cdgortthms , International Journal of Computer Vision, (l): - Stabilirea corespondențelor între pixeli în stereoviziunea binoculară pe propagarea germenilor, care pornește dc la un set de pixeli corespondenți fiabili, germenii, permițând limitarea mărimii zonei dc căutare a pixelilor corespondenți printre vecinii acestora Secțiunea tratează metodele globale care caută corespondenții tuturor pixelilor prin minimizarea unei erori globale pe toata imaginea In sfârșit, secțiunea descrie metodele care utilizează o segmentare a imaginilor in regiuni pentru care sunt estimați parametrii unui model de suprafața Fig Zone cu textură regulată - pentru un pixel există mai mulți candidați posibili pentru că vecinătățile se aseamănă Din această cauză este dificil de găsit pixelul care corespunde cel mai bine Metode locale Metodele locale clasice caută în cele două imagini pixelii ale căror vecinătăți se aseamănă cel mai mult prin utilizarea măsurilor de corelație Pentru fiecare pixel dintr-o imagine a cuplului, căutarea pixeiului corespondent în cealaltă imagine se face într-o serie de pixeli candidați care se constituie într-o zonă de căutare Fără cunoștințe a priori, această zonă poate să se întindă la ansamblul pixelilor din cealaltă imagine, dar este posibil ca ca să fie redusă, în particular prin utilizarea modelului geometric al sistemului de captare a imaginilor care introduce condiția de epipolaritate Rectificarea epipolară Condițiile geometrice permit reducerea ansamblului de pixeli corespondenți posibili, în particular prin utilizarea geometriei cpipolare care descrie relațiile dintre pixelii corespondenți Această relație este descrisă de parametrii incluși în matricea ALAIN CROUZIL, GUILLAUME GALEȘ, SYL VIE CHAMBON fundamentală [Hartley, ]' Condiția dc epipolantate specifica faptul ca pixelul corespondent al unui punct dintr-o imagine se găsește pe o dreapta din cealalta ima; gine Această dreaptă este dreapta epipolară asociată și ecuația ei poate fi o )ținuta pornind de la coordonatele punctului și pe baza matricei fundamentale Una din configurațiile particulare ale sistemului de captare a imaginilor este aceea în care dreptele epipolare sunt toate paralele și orizontale xistă posibilitatea de a simula această coniigurație prin aplicarea asupta celor două imagini a unor transformări geometrice denumite omografii Matricele acestoi omografii pot fi obținute pornind de la matricea fundamentală care, ea însăși, poate li estimată pornind de la corespondența unor puncte de interes [Loop, ] Fig prezintă efectul unei rectificări epipolare asupra unei perechi de imagini Numeroase metode de pun ei e în corespondență consideră că imaginile au fost deja supuse acestei rectificări epipolaie Aceasta permite reducerea căutării corespondentului unui pixel situat pe linia i și coloana j a unei imagini stânga numai la pixelii de pe aceeași linie din cealaltă imagine, situați la stânga coloanei j Imagine - stânga Imagine - dreapta Fig Rectificarea epipolară - în partea de sus este prezentată o pereche de imagini pentru care s-a efectuat rectificarea epipolară, rezultând imaginile din partea de jos, în care pixelii corespondenți sunt situați pe aceeași linie cri ХТеаіНоГІ? егт‘,п’ Andrew’ vlew eome,ry"' Cambrid e University Press> IEEE Comnuier ПК^ ’ t't’i'H/ying homographies for stereo vision", in к ЖЕЖгпт ’ *- «-*"* ™hi"“ '■w * Stabilirea Nc [i j] a Z ’([z jȚ) ( ) unde /'([/ j] ) este valoarea dimensiunii c a pixelului pt Avem, de exemplu, c dacă luăm în considerare nivelele dc gri sau c = dacă considerăm un spațiu de culoare Pentru simplificare, vom considera с = în continuarea acestui capitol • Vectorul de disparitate cl 't - rezultatul punerii in corespondență poate fi reprezentat printr-un vector de disparitate d' ,'(J care descrie poziția relativă a doi pixeli corespondenți între cele două imagini s și d (conform Fig ) Imaginea de pornire, aici v, este imaginea de referința In continuarea acestui capitol, dacă nu ' se fac alte precizări, vom considera imaginea stânga ca imagine de referință Pentru simplificarea notației vom folosi d, asociat pixelului l poate fi descris ca Vectorul de disparitate mm max ( ) unde pd este pixelul din imaginea dreapta ce corespunde pixelului iar d, pd d, d sunt capetele intervalelor valorilor posibile pentru componentele Jmin Jmax r vectorului de disparitate, în timp ce ase este un vector de disparitate simbolic atribuit pixelilor ale căror corespondenți sunt ascunși Cum am amintit deja, este posibil ca imaginile să fie rectificate de așa manieră încât corespondentul pixelului diu imaginea stângă sa se situeze pe aceeași linie în imaginea din dreapta (conform paragrafului ) In acest fel prima componentă a vectorului de disparitate este întotdeauna nulă Iu acest caz vectorul de disparitate poate fi înlocuit cu o mărime scalară d/j denumită disparitate sau valoare de disparitate, exprimată ca: Г О П d = lJ d: AI AIN CR UZ L, GLII AUME GALEȘ, SYLVIE CHAMBON în continuarea acestui capitol, dacă nu se fac alte precizări, ne vom plasa întotdeauna in acest caz Imagine - stânga г d Li Pt • Fig Vector de disparitate Funcția de disparitate d- câmpul vectorilor de disparitate al unei perechi de imagini poate fi reprezentat printr-o funcție de disparitate: d : [ ;ЛІх ( d \dt xd \d u J J 'd- zmin 'max Упші Утах / ' ( ) Funcția de corespondență m — la fel putem defini o funcție de corespondență care dă coordonatele pixelilor corespondenți: m : ; ?]x ;w] —> ( ;/?]x ;w]) У ¥ ( ■ ) ■'■ЯІ r f ’ ¥ - - — ' '^ / r \ Imagine - drcapE Fereastră dc corelație -> Pixeli candidați Fig wid tc ( ) unde a este vectorul valorilor pixelilor din vecinătatea lui psiJ b este vectorul valorilor pixelilor din vecinătatea lui pd , iar tce R este un prag Condiția de ordine Ordinea pixelilor de-al lungul dreptei epipolare trebuie să fie aceeași cu cea a corespondenților lor de-a lungul dreptei epipolare conjugate (conform Fig ) ' a;, ji pi! ? -/ g f , \ Fig Condiția de unicitate - în partea de sus prezentăm un exemplu în care condiția de unicitate este îndeplinită, în timp ce în partea de jos avem un exemplu în care aceasta nu este îndeplinită Condiția de simetrie Condiția de simetrie introdusă în [Fua, ] , constă în satisfacerea condiției de regăsire a acelorași împerecheri indiferent care este imaginea de referință (conform Fig ): ( ) Această condiție poate fi impusă prin efectuarea unei verificări bidirecționale, adică prin efectuarea unei puneri în corespondență a imaginii stânga față de imaginea dreapta, a unei puneri în corespondență a imaginii dreapta față de imaginea stânga și pi in îndeplinirea faptului că regăsim bine aceleași împerecheri în ambele sensuri în Fig se ilustrează ondiția de simetrie și de simetrie aproximativă în partea dc sus este prezentat un exemplu în care condiția de simetrie este îndeplinită, în timp ce în partea de jos este un exemplu în care aceasta nu este îndeplinită In același timp, în acest exemplu, condiția de simetrie aproximativă este îndeplinită dacă luăm tsj — Fua, Pascal, parallel stereo algorithm that produces dense depth maps and preserves image features”, International Journal of Machine Vision and Applications, : - I > ALAIN CR UZ L, GU LLAUME GALEȘ, SYLVIE CHAMBON Imagine - st mga Fig Condiția de simetrie și de simetrie aproximativă Imagine - dreapta r}d ~ — jj'+d ^ j și pentru toii г+dij^ Ф j ( ) Limita gradientului de disparitate Această condiție impune că disparității© nu variază brusc între doi pixeli vecini Este definită de; S * * я Gong, Minglun Yang, Yec-llong, programming and consislency constraint"'', S-!(' using realibility-based âynamic Ккя Fmnis» vni i , International Conferonce on Computer Vision, Msa I voi I, pp - , octombrie * Stabilirea corespondențelor intre pixeli în stereoviziunea binoculară j\ ]' л m([z ( ) unde p și p' sunt doi pixeli care sunt proiecțiile a doi pixeli din scenă care aparțin unei aceleiași suprafețe și unde e R este un prag Condiția de rang Această condiție, prezentată în [Banks, ] , compară valoarea pixelului central cu cele ale celorlalți pixeli din fereastra de corelație și impune ca vecinii ale căror valori sunt superioare celei a pixelului central să fie aceeași pentru cei doi pixeli corespondenți în exemplul dat în Fig , în prima linie sunt prezentate valorile conținute într-o fereastră de corelație de x în jurul pixelului considerat din stânga (a) și în jurul a doi candidați din dreapta (b și c) în cea de-a doua linie, sunt prezentate, pentru fiecare fereastră, diferențele între valoarea pixelului central și cele ale fiecărui vecin al său Constatăm astfel că în exemplul dat, aceste diferențe pentru candidatul (b) au toate același semn ca și cele ale pixelului considerat (a): condiția de rang este respectată în schimb, nu acesta este cazul pentru toate diferențele candidatului (c) (cu aldine): condiția de rang nu este respectată Această condiție poate fi scrisă: m\ i n n • ( ) Stânga N ivele de Diferență - - - - Dreapta ' (c) - - - - Fig Condiția de rang - j - - - - Banks, Jasmine, Bennamoun, Mobammed, „Reliability analysis of the rank transform for stereo matching', IEEE Transactions on Systems, Man, and Cybernetics, ( ): ~ , I AI MN CROI ZII , Gl'ILl AUME GALEȘ, SYLV ECHAMBON Condiția de fiabilitate pa din Aplicarea unui prag asupra unor măsuri de fiabilitate peimite eliminai ea împerecherilor mai puțin fiabile Fie r o funcție care măsoară fiabilitatea pornind de la m scoruri de corelație între pixelul considerat și cei m candidați zona de căutare cu к e [O; //?]: ( ) Notăm c = [K c(a,t), K] Condiția poate fi scrisă acum: ( ) fiabilitate unde t,eR este un prag Putem să distingem următoarele măsuri de (funcții r): • Măsură de ambiguitate - măsoară distanța în pixeli dintre candidatul care a obținut cel mai bun scor de corelație și cel care are cel mai bun al doilea scor (conform Fig ) Fie: am unde (c)Vm și (c) w sunt primele două elemente ale vectorului c ale cărui elemente sunt triate în ordine descrescătoare Măsura de ambiguitate nu este calculată decât dacă cel de-al doilea cel mai mare scor de corelație este apropiat de primul Fie :ni ( ) AMB(c) = Măsura de ambiguitate este dată de: amb(c) dacă dn )=||(a - Да))- (d - Дб))|| ( ) unde //(«) este vectorul de dimensiune n care conține media elementelor vectorului a Această măsură centrează valorile ferestrei de corelație cu scopul de a fi invariantă Ia translație, adică ZSAD(a + x,& + j) = ZSAD(af)\ orice (x,y) g R~ Corelație încrucișată normalizată (NCC de la Normalized Cross Correlatiori) (încrucișată) - Corelația încrucișată poate fi folosită ca măsură de similaritate: NCC(a, b) = ( ) • unde * reprezintă produsul scalar și unde valorile ferestrelor de corelație sunt normalizate cu scopul ca măsura să fie invariantă la scalare, adică NCC(ax,by) = NCC(a b\\/{x y)^ • Corelație încrucișată centrată normalizată (ZNCC de la Zero mean Normalized Cross Correlatiori) (încrucișată) - Există, de asemenea, o versiune centrată a NCC, coeficientul de corelație liniara: Idem Idem Stabilirea corespondențelor intre pixeli în stereoviziunea binoculară ZNCC(a b) = fe д(^)) ( ) Această măsură este invariantă la scalare și la translație Corelația lui Moravec (MOR) (încrucișată) -pe corelația încrucișată este măsura lui Moravec MOR(a,b) = ~ ~ a(&)) O altă măsură de corelație bazată [Moravec, ]’*: ( ) Această măsură este invariantă la translație Corelația câmpurilor de gradienți (GC de Ia Gradient Correlation) (denvată) - O alternativă la măsurile clasice constă în a nu fi direct interesați de valorile pixelilor, ci de variația acestora prin intermediul primei lor derivate Corelația gradienților introdusă în [Crouzil, ] măsoară disimilitudinea vectorilor gradient conținuți în cele două vecinătăți și poate fi scrisă astfel: n GC(a,b) = ( ) unde V/ desemnează câmpul vectorilor gradient Măsura GC este invariantă la translație > Smooth Median Powered Deviation (SMPDp) (robustă) - Această măsură se aplică estimatorului SMAD (Smooth Median Absolute Deviation) propus în [Rousseeuw, ] Este vorba de calcularea unei distanțe centrate robuste Robustețea este obținută grație centrării prin mediană și utilizării unei distanțe trunchiate Astfel, deși există diferențe importante între două vecinătăți de pixeli corespondenți datorate acoperirilor sau discontinuităților de profunzime, în cazul acesta nu se ține cont de ele, rezultând astfel o măsură mai robustă decât o măsură clasică (care va ține cont de aceste mari diferențe): ( ) Moravec, Hans P,, „Obsiacle Avoidance and Navigation in the Real H'oi d by a Seeîng Robot Rover”, Teză de doctorat, Universitatea Stanford, Stanford California, S U A , septembrie Crouzil, Alain, Massip-Pailhes, Louis, Castan, Serge, „A new correlation criterion based on gradient fields similarity”, International Contcrcnce on Pat tem Recoenition, ?ol , pp - , Viena, Austria, august Rousseeuw, Peter J„ Croux, Christophe, „Lrstatistical analysis and related metiods \ în Y Dodge, editor, Explicit Scale Estimators with High Breakdown point, pp - , Elsevier, Amsterdam Olanda, JL j ferestre de ( ) i\ г ( ) nu ALAIN CROUZIL, GU LLAUMF GALEȘ, SYLVIE CHAMBON I dacă a dacă F >g ' , Hoit ta disparităților perechii de imagini Conuri obținute cu măsura C VSUS (vecinătate x ) unde® este operatorul de concatenare și к parcurge vecinătatea (dc dimensiune n ) a fiecărui pixel din fereastra de corelație Scorul este dat de: CENSUS(a,b) = dHam Zabih, Ramin, Woodfill, John, „N'on-parainetric local transforme far computing visual correspondeneC, European Conference on Computer Vision, pp - , Stockholm, Suedia, mai , Chambon Sylvie, Crouzil, Alain, „Slmilarlty measures for image matching despite occlusions în stereo vision \ Pattern Recognition, : * , , ;/î j I dacă n T nu unde nred(a-b) este mediana diferențelor valon lor celor două corelație și к n — este al clementul de ordin к al vectorului de abateri de Ia mediană trial în ordine crescătoare în general se ia h = n / , CENSUS (familia neparametrică) - Această măsură, introdusă în [Zabih, ] ține cont de diferențele de valori între pixelul studiat și vecinii săi Fie Ra și Rb două șiruri de biți definiți în următoarea manieră: unde dHamQS\ e distanța Hamming, adică numărul de biți care diferă intre cele două șiruri Această măsură dă, de asemenea, rezultate bune în zonele apropiate de acoperiri și de discontinuități de profunzime în [Chambon, ] Această măsură evaluează respectarea condiției de rang (conform paragrafului ) Fig prezintă disparitățile perechii de imagini Conuri (nqza Fig ) obținute cu măsura CENSUS Stabilirea corespondențelor între pixeli în stereoviziunea binocularâ Vecinătăți adaptabile O dimensiune prea mică a ferestrei de corelație nu ține cont de atâta informație încât să fie suficient de discriminantă și să facă față unor anumite dificultăți, în particular în zonele omogene sau constituite din texturi regulate în plus, măsura riscă să fie prea sensibilă la mici variații puțin semnificative (zgomot) Pe de altă parte, o fereastră de corelație prea mare riscă să conțină pixeli care nu au aceeași disparitate ca și cea a pixelului considerat Astfel, pentru doi pixeli corespondenți, vom obține vecinătăți care nu sunt întotdeauna similare (conform paragrafului ) Măsura de corelație utilizată ține cont de aceste diferențe și, dacă aceasta nu este adaptată, dă scoruri scăzute pentru doi corespondenți și poate implica erori de împerechere De aceea au fost propuse diferite tehnici care permit adaptarea mărimii sau formei ferestrelor de corelație pentru a nu ține cont decât de pixelii din vecinătate care corespund unul altuia Se pot distinge următoarele metode: • deformare legată a ferestrelor de corelație: ferestrele de corelație au aceeași formă în imaginea de referință și în cealaltă imagine; • deformare independentă a ferestrelor de corelație: ferestrele de corelație nu au aceeași formă în imaginea de referință și în cealaltă imagine; • ponderarea pixelilor din fereastra de corelație: o pondere este atribuită fiecărui pixel din fereastră și intervine în calculul scorului de corelație x Deformare legată a ferestrelor de corelație • minimizarea unui criteriu de incertitudine - în [Kanade, ] , autorii au propus un algoritm iterativ care estimează și actualizează pentru fiecare pixel valoarea de disparitate găsită, adaptând la fiecare iterație dimensiunile ferestrei de corelație utilizată Aceste dimensiuni sunt determinate prin testarea mai multor dimensiuni posibile și prin selecționarea acelora care minimizează un criteriu de incertitudine aplicat disparității estimate în cadrul iterației precedente Calculul acestui criteriu de incertitudine este bazat pe un modei statistic care ține cont de distribuția diferențelor dintre disparitățile estimate pentru pixelul considerat și cele estimate pentru ceilalți pixeli din fereastra de corelație, precum și distribuția variațiilor valorilor pixelilor din fereastra de corelație a candidatului din cealaltă imagine Astfel, fereastra care minimizează acest criteriu este utilizată pentru actualizarea valorii disparității estimate a pixelului considerat și procesul se repetă până la convergență • ferestre multiple fixe - în [Bobick, I ] ’, sunt utilizate nouă ferestre de corelație difeiite Prima este centrată pe pixelul considerat, celelalte opt sunt excentrice Scoiul final este dat dc fereastra care dă scorul de similitudine cel Kanade, Такео, Okutomi, Masatoshi, „Л stereo matching algorithm with an adaptive window: Theory and experiment", IEEE Transnctions on Pattem Analysis and Machine Intelligence, ( ): pp - , Bobick, Aaron F„ Intille, Stephen S„ „Large occlusion stereo", International Journal of Computer Vision, ( ): pp - , ALAIN CROUZIL, GUILLAUME GALEȘ, SYLVIE CHAMBGN mai ridicat Se presupune că este orba despre scorul dat de fereastra care ține cont cel mai mult de pixelii vecini de aceeași disparitate ca și pixelul considerat Această tehnică este cunoscută sub numele de shiftable Windows • ferestre multiple cu încrucișare - în [Lotti , ] , autorii presupun că rupturile de profunzime coincid cu contururile din imagine O primă etapă consta în detectarea contururilor din imagine cu ajutorul unui filtru Canny-Doririle și a aplicării unui prag cu histeresis» Patru ferestre pătrate de dimensiuni * sunt centrate mai apoi pe pixelul considerat Fiecare fereastra este asociată uneia din cele patru direcții nord-vest, nord-est, sud-est, sud-vest și este lărgită progresiv cât timp ea nu se suprapune pe contururile prezente în zona studiată Scorul de corelație final este calculat considerând reunirea celor patru ferestre • ferestre multiple adiacente - în [Hirschmuller, ] , o fereastră de corelație este centrată pe pixelul considerat și apoi alte ferestre sunt plasate în jur suprapunându-se peste ea Fiecare fereastră dă un scor de corelație și scorul final este compus din suma celor mai ridicate scoruri Deformare independentă a ferestrelor de corelație Metodele prezentate mai sus descriu, pentru fiecare cuplu de pixeli corespondenți, ferestre de corelație de formă identică în imaginea de referință și în cealaltă imagine fără să ia în calcul eventualele deformări ale obiectului considerat între cele două imagini, stânga și dreapta în acest caz, este de preferat să se modifice forma ferestrei de corelație în cealaltă imagine astfel ca să ia în calcul pixelii corespondenți ai pixelilor incluși în fereastra de corelație ce aparține imaginii de referință Deformarea ferestrei este abordată printr-o transformare afină a cărei parametri pot fi estimați prin optimizare sau pornind de la distribuția valorilor pixelilor în vecinătatea pixelilor corespondenți • Estimarea prin optimizare - Această abordare este utilizată în [Devemay, ] [Garcia, ] pentru stabilirea corespondențelor prin corelație fină, caz în care parametrii transformării locale a ferestrei (deformare și translație) sunt integrați măsurii de corelație Stabilirea corespondențelor prin corelație fină este utilizată, de asemenea, în [Harvent, ] O idee similară este utilizată în Lotti, lean-Luc, Giraudon, Gerard, „Correlation algorithm with adaptive window for aerial irn^ge in stereo visiori , în European Symposium on Satellite Remote Sensing, pp - , Roma, septembrie Hirchmuller, Heiko, Innocent, Peter R , Garibaldi, Jon, „Real-time correlation-based stereo vision wi‘h redueed border errors”, International Journal of Computer Vision ( - ): pp - , QC Devemay, Fredcric, Faugeras, Olivier, „Со три ting differential properties of -D shapes from stereoscopic images without -D models”, raport de cercetare RR- , Institut National de Recherche en Jnfbrmatique et en Automatique, INRIA, Garcia, Dorian, „Mesures de formes et de champs de deplecements tridimensionnels por stereo-correlation d'images”, teză de doctoral, Institut National Polytechnîque de Toulouse, decembrie Harvest, Jacques, „Mesures de formes par correlation mulii-images; application a Hnspectton de pieces aeronautiques a l'aide d'un systeme multl-camerasf teza de doctorat, Universitatea din Toulouse, noiembrie а t а v e e * ll Stabilirea corespondențelor între pixeli în sterepvlziunea binoculară [Ciruen, ]‘ Vești parametri trebuie apoi să maximizeze măsura d r Transformarea afină locală corespunde apoi transformării între cele două ,' este pixelul de referință al unui germen, atunci îl vom nota cu gf Notăm cu setul de pixeli stânga ai X germenilor GL Pixelul dreapta al unui germen - se referă la pixelul corespondent în imaginea din dreapta a pixelului stânga al unui germen Dacă pixelul este corespondentul unui pixel de referință al unui germen, atunci îl vom nota cu gz?Notăm cu setul de pixeli stânga ai germenilor Gt Funcția de corespondență a germenilor - Este definită astfel: a Wdc vt t d Fereastră de vecinătate - Se referă la fereastra centrată pe pixelul stânga al germenului considerat care include pixelii vecini pentru care voi fi cântați corespondenții în vecinătatea pixelului dreapta al germenului Pentru simplificate, vom considera o vecinătate pătrată de dimensiuni nv x /?v (conform Fig ) Zona de căutare — în cazul general, se referă la zona dc căutare a candidațilof din vecinătatea pixelului dreapta al germenului considerat Pentru simplificare, vom considera o zonă de căutare pătrată de dimensiuni rf în cazul în care imaginile au fost rectificate, zona de căutare poate fi redusă și mai mult până la zona marcată cu gi i în Fig , constituită doar din nj — \ pixeli Selecționarea germenilor inițiali Stabilirea corespondentelor prin propagare este o alici nativă interesantă la metodele locale clasice, Reducerea zonei de căutare a pixelilor corespondenți la ALAIN CROUZIL GUILLAUME GALEȘ, SYLVIE CHAMBON vecinătățile germenilor nu numai că reduce volumul de calcul, dar în aceeași măsură reduce riscul selecționării unui corespondent greșit, totul ducând la diminuarea ambiguităților Cu toate acestea, este necesară o atenție deosebită la selecția germenilor inițiali Distingem două familii de metode de selectare a germenilor: • împerecherea punctelor ) in cazul detectorilor multi-scală (câte o valoare pentru fiecare scală) Selecția extremelor locale ale răspunsului Sunt localizate extremele răspunsului Aceste poziții constituie puncte de interes potențiale Post-procesare Se referă la tehnicile care au în vedere eliminarea răspunsurilor false, cum ar fi aplicarea unui prag asupra valorii răspunsului, suprimarea candi-daților situați pc contururi sau care nu respectă anumite condiții geometrice De asemenea se poate referi la tehnicile care permit o poziționare la nivelul sub-pixelilor punctelor de interes, în care caz funcția care dă răspunsul este definită / pe R și arc valori în R Scala corespunde nivelului de detaliu la care se face observația Cu cât este mai mică vecinătatea luată in considerare, cu atât se face o focalizare pc detalii (depinde dc nivelul de zgomot); și invers, cu o vecinătate mai extinsă, se iau în considerare structurile mari cu riscul de a nu lua în considerare anumite detalii Dacă un detector examinează mai multe scale, răspunsul și extremele sale sunt calculate inti-un „spațiu scalat” Se referă la o reprezentare multi-rezoluție a unei imagini la care, cu cât micșorăm scala, cu atât apai detalii noi, conservând însă pe cele existente la scale mai mari In |Galeș, J'b putem găsi o prezentare detaliata a mai multor detectori de puncte de interes, printre care detectorii cunoscuți de genul Harris [Harris, ] , SIFT [Lowe, ] , SURF [Вау, ] SUSAN [Smith, ] ’, FAST [Rosten, OO ]so, și variantele lor Galeș, Guillaume, „Mise en correspondance dc pixels pour la stereovision binoculaire par propagatlon dăpparlemcntr de polnts d’lntcrîd et son da gr de regîons\ teză de doctorat, Universitatea din Toulouse, iulie , Harris, Chris, Stephens, Mikc, „Л combined corner and edge detector', în Alvey Vision Conference, pag - , Manchcster, U C, ianuarie A/ Lowe, David G , „Object recognition from local sede-rivarient feane-es' în IEEE International Conference on Computer Vision, voi , pp , Corfu, Grecia, septembrie / ALAIN CROUZIL, GU LLAUME GALEȘ, SYLVIE CHAMBON J Stabilirea corespondențelor punctelor de interes Cea de a doua etapă permite punerea în corespondență a punctelor de interes Un descriptor permite caracterizarea unui punct de interes Ne referim la un vector care permite „descrierea” punctului Acest vector poate fi compus, de exemplu, din nivelele de gri din vecinătatea punctului Alți descriptori sunt concepuți pentru a fi invarianti la transformările geometrice (rotație, schimbarea de scală, schimbarea perspectivei) O măsură de tip distanță permite apoi compararea descriptorilor între ei Punerea în corespondență a punctelor de interes este o problemă în sine în domeniul analizei imaginilor pentru că ea este utilizată în aplicații diferite, cum ar fi recunoașterea obiectelor, indexarea imaginilor sau urmărirea obiectelor în secvențe de imagini Există numeroși descriptori a căror studiu comparativ poate fi găsit în [Mikolajczyk, ] în cazul stereoviziunii în care cele două imagini sunt luate din poziții apropiate (small-baseline), nu există transformări geometrice importante între cele două imagini în schimb, suntem confruntați cu probleme de discontinuitate a profunzimii, în consecință, chiar dacă nu sunt invariante la transformările geometrice, se pot utiliza (conform paragrafului ) metodele de împerechere prin măsurarea corelației robuste a nivelelor de gri (sau de culoare) Cu toate acestea, punerea în corespondență a punctelor de interes diferă de o punere în corespondență densă la nivelul listei candidaților de examinat De fapt, presupunem că un pixel corespondent al unui punct de interes din imaginea de referință este, de asemenea, un punct de interes al celeilalte imagini (pentru că punctele de interes generate de un detector „bun” sunt repetate) Rezultatele prezentate în [Schmid, ] * au arătat că punctele de interes pot fi subiectul unei probleme de localizare Aceasta se traduce prin faptul că un pixel corespondent al unui punct de interes din imaginea stânga poate fi un punct de interes în imaginea dreapta, dar, de asemenea și unul dintre vecinii săi O punere în corespondență a punctelor de interes din imaginea de referință cu punctele de interes și vecinii lor din cealaltă imagine este, deci, o variantă mai potrivită decât punerea în corespondență a punctelor de interes doar cu punctele de interes Mai mult, ne așteptăm să găsim germeni care sunt fiabili, adică a căror împerechere să fie corectă, ceea ce, în mod evident, nu poate fi cunoscut „apriori” Astfel, nu mai pare inutilă verificarea condițiilor asupra împerecherilor rezultate prin calcul Au fost propuse numeroase condiții pentru a elimina împerecherile de puncte de interes mai puțin credibile, în special pornind de la geometria epipolară (conform Bay, Herbert, Ess, Andrcas, Tuytelaars, Tinne, Gool, Laic Van, „SURF: Speeded up robust fealures”, Computer Vision and Image Understanding, ( ): - , 'miih, Stephen M , Brady, J Michael, „SUSAN — a new approach to low level image processing , International Journal of Computer Vision, ( I ): - , Rosten, Edward, Drummond, lom, „Mcichine le amin g for high-speed corner detection , în European Conference on Computer Vision, voi , pag - , Graz, Austria, mai Mikolajczyk, Krystian, Schmid, Cordelia, „A performance evaluation of local descriptors", IEEE {ransaclI ns on Altern Analysis and Machine Intelligence, ( ): , Schmid, Cordelia, Mohr, Roger, Bauckhage, Christian, „Evaluation of interest point detectors y International Journal of Computer V ision, ( ): - , I Stabilirea corespondentei or intre pixeli in ster eoviz lunea binoculară paragrafului ) In afară dc asta, se pol aplica, de asemenea condițiile prezentate in paragraful pentru punerea în corespondență locală a pixelilor Un studiu privind utilizarea acestor condiții diferite pentru punerea în corespondență a punctelor de interes poate fi găsit in [Vincent, ] [ Zhou, ] [Sur, Op Obținerea unui set bun de ger ir eni inițiali Germenii inițiali sunt constituiți dintr-un set de împerecheri care servesc ca punct de plecare pentru punerea în corespondență prin propagare, este deci necesar ca să prezinte următoarele calități: • Fiabilitate - Germenii inițiali trebuie să fie corecți, adică împerecherile realizate să fie reale, cu scopul de a evita propagarea prea multor erori la debutul procesului In practică, nu se poate ști a priori dacă împerecherile rezultate în urma calculului sunt corecte • Imprăștiere - Este important ca germenii să fie Judicios” plasați în imagini, adică într-o manieră care să permită, prin propagare, găsirea de împerecheri peste tot în imagini Fig Germenii inițiali obținuți pentru perechea de imagini Conuri în [Galeș, ] , se prezintă o evaluare a metodelor de selecție a gei me- lci inițiali pentru împerecherea punctelor de interes Parametrii diferitelor metode de împerechere a punctelor de interes care permit satisfacerea pe cat posibilă a compromisului dintre fiabilitatea și împrășticrea germenilor an fost determinați prin Vincent Etienne Laganidre, Robert, Jdatching feature points ir: stereo pairs: Â comparative st'dy of same matching strategles'\ Machine Graphics & Vision, ( ): — , Zhou, Л, Shi, Jiaoying, ,/I robust algorithm for feature point matching'\ Computer and Graphics, ( ); - , Sur, Frâdâîc, Noury, Nicolas, Berger, Marh’Odil©, fDeterndning point correspondences between two views under geometric constraint and photometrlc consistencv" Raport Je cercetare RR- , Institut National de Recherche en Informatique ci ©n Automatique, INRIA, , Galeș, Guillaume, en correspondance de pixels pour la sterfovisior binoculaire pa* propagation d’appariements dc points d'intMt et sondage de regions\ teză de doctorat, Universitatea din Toulouse, iulie I ! f l , I i • ALAIN CROUZIL, GUILLAUME GALEȘ, SYLVIE CHAMBON optimizare Rezultatele obținute arată că detectorul FAST sau detectorul SUSAN, asociate cu măsura de corelație CENSUS (sau măsura GC, mai puțin costisitoare din punctul de vedere al timpului de calcul), sunt un compromis bun între fiabilitate și împrăștiere Apoi se propune o combinație de seturi de germeni complementari rezultați în urma aplicării unor metode diferite și având scopul de a obține un nou set care să se constituie într-un compromis și mai bun Acest set este apoi completat cu împerecheri de interes în scopul de a ameliora împrăștierea germenilor Pentru aceasta, se realizează o segmentare fină a imaginii în regiuni de culoare omogenă prin metoda mecin-shift [Comaniciu, ] Pentru fiecare regiune care nu conține germeni, se realizează o cautare exhaustivă a corespondenților printr-o abordare locală clasică, dar cu măsura de corelație robustă SMPD împerecherile astfel obținute care nu respectă condiția de simetrie sunt eliminați în sfârșit, se efectuează o ultimă etapă de validare prin realizarea unei segmentări mai grosiere și prin eliminarea, înăuntrul fiecărei regiuni, a împerecherilor asociate disparităților foarte diferite de cele ale altor împerecheri ale regiunii (conform [Galeș, ll] pentru detalii asupra acestei metode) Fig prezintă germenii inițiali obținuți pentru perechea de imagini Conuri (Fig ) Propagarea simultană și propagarea secvențială Principiul propagării poate fi enunțat astfel Pentru fiecare pixel , vecin al pixelului din stânga g‘sya germenului considerat, candidații testați sunt cei din zona de căutare poziționată în jurul vecinului pixelului dreapta al acelui germen: p^+k+qj'+l+r, (g,r)e [- z/ ;t z/ ] (conform Fig ) Noile împerecheri care se stabilesc servesc apoi ca noi germeni și procesul este repetat atât timp cât sunt găsite noi disparități în figura , perechea (g^gfy) este un germen Ferestrele de vecinătate sunt marcate cu chenar negru Pentru pixelii vecini ai lui gf din imaginea stânga (marcați cu cerculețe), căutarea pixelilor corespondenți se face în vecinătatea vecinilor pixelului corespondent al germenului luat în considerare Mai precis, dacă luam ca exemplu pixelul y+ este constituită din pixelii (q,r) , zona lui de căutare (fereastră marcată cu chenar gri) e [- / ; / , / ]x [- rt: / ; nz / ] Având în vedere că imaginile au suferit o rectificare epipolară, zona de căutare este redusă la sub setul marcat cu gri Comaniciu, Dorin, Meer, Peter, „Robust analysis offeature spciccs: color image segmentation” > îp IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp - , San Juan, Porto Rico, juin Galeș, Guillaume, „Mise en correspondance de pixels pour la stereovision binoculaire por propagation d'appariements de points d mteret et sondage de regions”, teză de doctorat, Universitatea din Toulouse, iulie , к ef r \ V i i t i i u ’ I P iu Stabilirea corespondențelor între pixeli în stereoviziunea binoculară Se disting două abordări ale propagării în funcție de maniera in care sunt utilizați germenii: • Abordarea simultană — La fiecare iterație t toți germenii din setul Gt sunt luati în considerare simultan (conform Fig ) Aceasta implică că disparitatea calculată pentru un pixel poate fi indusă de mai mulți germeni în acest caz, cea mai bună potrivire este păstrată, adică cea care dă cel mai bun scor de corelație și care îndeplinește și^ ansamblu de condiții impuse Această abordare este propusă în [Chem ] în figura , pixelii pentru care a fost deja găsit un corespondent sunt marcați cu un punct negru Germenii luați în considerare sunt punctele negre încercuite Pixelii albi încercuiți sunt aceia pentru care se face căutarea unui corespondent în cadrul iterației curente în abordarea simultană, toți germenii sunt luați în considerare în timpul aceleiași iterații în acest exemplu, al iterației /, se face căutarea corespondenților pentru pixeli (cerculețele albe), și sunt găsiți, de exemplu, doar (germenii iterației t + ) I / Fig Principiul propagării: Perechea este un germen Fig Abordarea simultană a propagării Chen, Qian, Medioni, Gdrard, volumetric stereo matching method: Application to image-based modeling”, în IEEE Computer Society Conference on Computer V ision and Pattern Recognition, volume , pp — , FortCollins, SUA, iunie ALAIN CROUZIL, GUILLAUME GALEȘ, SYLVIE CHAMBON Diferitele etape ale acestei abordări sunt prezentate prin algoritmul : gt\ setul de germeni la iterația t : setul de împerecheri rezultate prin calcul : t : gt (//) este maximă: ( ) Aceasta este ceea ce numim maximum a posteriori (MAP) Conform teoremei lui Bayes, ecuația ( ) poate fi rescrisă astfel: Szeliski Richard, „Bayeslan model ing of una rtainty in low-levd vision International Journal of Computer Vision, ( ): — , decembrie , d Li, Stan Z , Markov random fleld models in computer vision" în European Conference on Computer Vision, voi, , pp - , Stockholm» Suedia, mai , Freeman, William T,, Pasztor, Egon C„ Carmichael, Owen T„ „Learning lowdevel vision"', International Journal of Computer Vision, (l): - , Vekslcr, Olga, „Efflcicnt Graph-Based Energy Minimiza Hon Methods in Computer l'isiori', teză de doctorat, Corneli University, Ithaca, NY, S U A , august Sun, Jian, Shum, I leung-Yeung, Zheng, Nan-Ning, „Stereo matching using beliefpropagatiori”, în European Conference on Computer Vision, pp - , Copenhaga, Danemarca, mai i t t i ■ I L i l I I I I у ;; f к ; i I î i! I ț l l i t I > ■ t t ALAIN CR°lJ ,L' guilla™£ gales sylvie chambon A z=are;”ax/’(z|z)/>Cr) Prin definiție onf»i -p PM ‘ - » r рМ> LI ( ) constituie un ' - X 'V/ »nde este setul de variabile al + ‘y ::z::: - s ::;=x =Sx= >= ■г - , ( ) ( ) A’tod determbaa p^) pratnj a p(rU)- Bstc „„ ttmiai “ a Z “nform «uatrei ( ) calcula direct ^ schimba daCă Se CUnoaște disM -r^ ' ^ probabilitatea de a finită imagine un S&' Acesta ni' se poate celor doi pixeli, se obține unl^ аргоРіа& Calculând^r/ ЭГ trebui să §ăsim ш c Poate deci scrie: ‘ °' ,nvers Proporțional cu ceea ‘fe‘fnța dintre va|orile ( ( Ce dori'^ cuantum P^exP ~^x l Az P I Хы ?₽,и ci 'cei« «««,• Sll„, Presupuși согеч ' ра? а е estimată cuantir Р'ороі'ропаІІ si ■' Corespondenți: ’ Cl,ant|(ica similaritateT ^‘ѵ v ll,, cție care, ' d,ntre cei doi pixeli ramanc de detcrni obține valoni ( ) ♦ J • El ; f jî Я Of —* Pon,,M de , *’ Pushmeet, „Stirface stereo with soft segmentation” în IEEE Computer ociety Conference on Computer Vision and Pattern Recognition, pp - , San Francisco, CA, S U A , iunie , Veksier, Olga, Efftcient Graph-Based Energy Minimization Methods in Comouter Vision", teză de doctorat Corneli University, Ithaca, NY, S U A , august Stabilirea corespondentelor intre pixeli in stei coviziunea binoculară (c) Гі'Д • ^гЧ-Ă- j-r / Fig Modele de funcții de netezire - (a) modelul liniar, (b) modelul liniar trunchiat și (c) modelul constant pe porțiuni Modelul liniar - o funcție liniară este utilizată pentru a măsura variația disparității între doi pixeli vecini: ( ) cu {(l,o),(-l,o),(o,l),(o,-l)} Acest model ține cont de discontinuitățile de profunzime și induce o netezire a întregii hărți de disparitate o Modelul liniar trunchiat - pentru a evita penalizarea exagerată a costului global la nivelul discontinuităților de profunzime, se poate utiliza modelul liniar trunchiat: dacă dacă ( ) unde Л e R este un prag (conform Fig ) o Modelul cuadratic trunchiat - este o alternativă la modelul liniai: ( ) o Modelul constant pe porțiuni acest model nu impune nicio penalitate pentru variațiile mici ale disparității mire doi vecini: I ta К I C- Lwence Stereo reconstruction with mixed pixels ^^Smenptlotf, în IEEE Computer Society Conference on Computer Vision and at cm Recognition, pp - , Anchorage, AK, S U A , iunie l Д * ■ i » I * в -■ ii— |l И t • І r > i г l ț » i j * ) t , care compară metodele de punere în corespondență densă pentru stereoscopia binoculară, cele mai multe metode bine clasificate sunt bazate pe regiuni Principiul metodelor care utilizează regiunile se bazează pe ipoteza că într-o imagine, o regiune de culoare omogenă suficient de mică poate fi proiecția unei aceleiași suprafețe a scenei și că acea suprafață poate fi abordată printr-un model în spațiul disparităților (de exemplu un plan sau o suprafață В-Spline) [Hong, ] [Sun, ОО ] [Klaus, ] [Wang, ОО ]’ [Yang, ]"° [Yang, ] ” [Taguchi, ]’* * * * * * * [Bleyer, ]" Utilizarea acestor regiuni poate ajuta punerea în corespondență a regiunilor omogene și permite, de asemenea, evitarea artefactelor la nivelul discontinuităților de profunzime Modelul plan este relativ simplu și asigură o bună aproximare, în particular pentru cele mai mici regiuni, dar poate deveni imprecis atunci când regiunile nu sunt proiecțiile unor fațete plane în acest ultim caz, modelul В-Spline poate da o aproximare mai bună Cu toate acestea, el este mai complicat de configurat (ordinul și vectorul nodal trebuie alese cu grijă) și pot apărea oscilații importante ale rezultatului [Lin, ] [ Bleyer, ] Metodele bazate pe regiuni implică parcurgerea mai multor etape prezentate pe scurt în Fig și pe care le vom descrie în continuarea acestui capitol И / / l o http://vision middlebury edu/stereo Hong, Li, Chen, George, „Segment-based stereo matching using graph cuts'\ în IEEE Computer Society Conference on Computer Vision and Pattern Recognition, voi , pp - , Washington, DC, S U A, iunie Sun, Jian, Li, Yin, Kang, Sing B , Shum, Heung-Yeung, „Symmetric stereo matching for occlusion handlingf, în IEEE Computer Society Conference on Computer Vision and Pattern Recognition, voi , pp - , San Diego, CA, S U A , iunie Klaus, Aandreas, Sormann, Mario, Kamer, Konrad, „Segment-based stereo matching using belief propaga tion and a self-adapiing dissimilarity measuref în International Conference on Pattern Recognition, voi , pp - , Hong Kong, august Wang, Zeng-Fu, Zheng Zhi-Gang, „Л region based stereo matching algorithm using cooperative optimizaliori\ în IEEE Computer Society Conference on Computer Vision and Patiem Recognition, pp - Anchorage, AK, S U A , iunie Yang, Qingxiong , Engels, Chris, Akbarzadeh, Amil, „Ne ai real-time steeo for weakly-textured scenes”, în British Machine Vision Conference, pp - , Lceds, U K, septembrie Yang, Qingxiong, Wang, Ling, Yang, Ruigang, Stewenius, Henrik Nister, David, „Stereo matching with color-weighted correlation, hierarchical belief propagation and occ'ușier handling”, IEEE Tiansaclions on Pattern Analysis and Machine Intelligence, ( )’ - , Taguchi, Yuichi, Wibum, Bennett, Zitnick C Lawrence, „Stereo reconstrucția# with nvxedpixels using adaptive over-segmeniation”, în IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp — , Anchorage, AK, S U A , iunie Bleyer, Michacl, Rothcr Carsten, Kohli, Pushmcet, „Surface stereo with soft segmentationf în IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp - , San Francisco, CA, S U A , iunie Lin, Michael H„ Tomasi, Carlo, „Surfaces with occlusions from layered stereo , IEEE Transactions on Pattern Analysis and Machine Intelligence, ( ): - , Idem eo alain crouzil, guillaume galeș, sylvie chambon Segmentarea imaginilor O partiționate a imaginii este obținută prin utilizarea unui algoritm de^seg-nicntare în regiuni de culoare omogenă [Gonzalez, ] [ francau, ] Se disting două abordări: • Abordarea „contur” - Granițele dintre zonele de schimbare brusca a valorilor pixelilor, adică contururile din imagine, sunt detectate și apoi uti izate pentru a delimita diferitele regiuni • Abordarea „regiune” - Pixelii vecini care se aseamănă sunt regrupați pentru a forma regiuni» Г , Etapele metodelor de punere în corespondență a pixelilor bazate pe regiuni Metoda mean-shift este cea mai utilizată în contextul punerii în corespom dențs a pixelilor pe bază de regiuni [Sun, ]"* [ Bleyer, ] [Klaus ] J E" Eddin ’S,even U "*sM nsș •**-**■ -* Eurone^'Snfere ice ’^lere“ matching using belief propagation", în SKS г ы"’Р^ ^ч ,Г (M ’ C^>enhagn, Danemarca, mai sfemenialiMiaHd\uohii'vh't ii'l^,il' " fereci matching algorithm using irnage Sensing, ( );| ^І , mai () '’ ’ ,SPRS Jounwl t’hotogrammetry and Remote ЙЙЙ ^ea matching using belief ReJoTni on voi no îs a n wwww'‘’”> î« International Conference on Pattern evogniuon, VOI, t, pp - , long Kong, august , Stabilii t a ] O funcție de densita c este cu b a «HO Wang, Zeng-Fu, Zhcng, Zhi*G»ng, „Л region based stereo matching alyottihi usfag cooperative optimizalion”, în IEEE Computer Soeiety Conference ou Computer Vision ard Paue a Recognition, t Anchorage, AK» S IJ A » Iunie , Yang, Qingxiong, Wang, Ling, Yang, Rulgang, StewCnius, I lenrik, Nister» David J&w matching with color-wciglued corre/alian, hierarchical belief propagation and occlusion handling\ IEEE 'Iransactions on Paltern Analysis and Machine imelligence, l( ): - , Bleyer, Micind, Rolher, Carstvn, Kohli, Pusluneet, stereo with soft seg>nentatioh\ în IEEE Computer Soeiety Conference on Computer Vision nud ‘attem Recognition, pp, - , San Francisco, CA, S U A , iunie , Comaniciu, Dorin, Meer, Pcter, „Robust analysis ojjeainte spaces: color image segrneniation\ în IEEE Computer Soeiety Conference on Computer Vision and Patlern Recognition, pp - , San Juan Porto Rico, juin , ALAIN CROUZIL, GUILLAUME GALEȘ, SYLVIE CHAMBON Fstimarea densității de probabilitate Pentru a estima o funcție de densitate pornind de la un eșantion, se disting două tipuri de metode: • Metodele parametrice - dacă se presupune un model pentru funcția de densitate (de exemplu cel gaussian), problema devine una de estimare a parametrilor acelui model; • Metodele non parametrice - dacă nu se presupune nici un model, se utilizează metodele non-parametricc Este cazul metodei mean-shift în caie funcția dc densitate este estimată utilizând o estimare la nivel de nucleu (kernel) Pornind de la un eșantion de n observații X/, / - , и, funcția de densitate estimată, notată /'(x), este calculată pentru x e R uni-dimensional prin: ( ) unde й este un parametru de netezire și К este nucleul utilizat (conform Fig ) Arn luat în considerare nucleul lui Epanechnikov (pentru că el permite simplificarea problemei pentru a utiliza algoritmul mean-shift detaliat în continuare) Expresia sa uni-dimensională este următoarea: ( ) Modurile unei densități de probabilitate prin mean-shift Modurile funcției de Л densitate, adică valorile lui x pentru care /(x) are un maxim local, corespund ^ centrelor diferitelor clase căutate (conform Fig ) Calculul explicit al acestor Juri după calcularea funcției de densitate poate fi evitat prin utilizarea algoritmului mean-shift Acest algoritm este iterativ La fiecare iterație sunt efectuate ІІЮ • Calculul mediei (meari) — Media este calculată într-o fereastră a cărei dimensiuni rămân a fi definite Fie x, cele n elemente incluse în fereastra centrată pe elementul x considerat: ( ) translație (shift) - Elementele incluse în fereastra considerată sunt translatate co media //(x) element л ПП^ esle aP°i posibil să se demonstreze că fiecare elțmcji transIdUt converge către modul cel mai apropiat al funcției de densitate (Comaniciu, ], \ «niiii computer SiK-iety Cmifeniiu-c’on еоттПе?^в?,?* color image segmentation’, în San Juan Porto Rk o, j( in | '"putu Vision u ul Pattern Recognition, pp - , I ъ Stabilirea corespondențelor intre pixeli in sterenvisiuneo binoculară Analogia cu problema segmentării imaginii în regiuni Problema segmentării imaginii în regiuni de culoare omogenă este similară celei de clasificare a elefanților din Fig Dar spațiul de clasificare este acum de trei sau cinci dimensiuni in loc să fie unidimensional: fiecare pixel din imagine reprezintă o observație pentru caro luăm în considerare localizarea spațială, adică coordonatele pixelului din imagine, fie două dimensiuni, precum și nivelul de gri sau culoarea, fie, una sau trei dimensiuni suplimentare (conform Fig ) Aceste dimensiuni nu sunt deloc comparabile (în particular dimensiunile spațiale și componentele de culoare) Totuși, în practică, în ioc să se recurgă la o normalizare, autorii lucrării [Comaniciu, ] utilizarea a doi parametri, notați hs și hn pentru a defini fereastra centrată pe elementul considerat: • /? Rothei, Carsten, Kohli, l’nshmeet, „Surface stereo with soft segmentation", c , Pl|*er Society Conference on Computer Vision and Pattern Recognition, pp - , San Francisco, CA, S U A , iunie I Stabilirea corespondentelor intre pixeli in Uereoviziiinea binoculară Metoda celor mai mici pătrate aplicată iterativ - Această tehnică este utilizată în special în |Hong ] La fiecare iterație, disparitățile inițiale prea înde-păi late dc modelul estimate sunt considerate ca date aberante și sunt eliminate pentru a nu influența rezultatul RAKSAC ~ Algoritmul RANSAC (random sample conscn us) eatc utilizat în [Yang ] [Yang ]l Descompunerea parametrilor - Această tehnică este utilizată in [Wang, ] *" FKlaus, ’ ' pentru determinarea parametrilor unui pl m Prin scrierea funcției planului ca și o funcție de i și dej: d :R R a Pd + P J +Рз= di,} ( ) undep, (cu n = l ) sunt parametrii căutați Autorii remarcă faptul că: cW„([z jȚ) dd ([z jT) A =—^ ' A= -ZT - P =dij-Pd~Pij ■ l ) z dj Astfel, pi (respectiv pff sunt estimați luând toate perechile de pixeli posibile urmărind liniile (respectiv coloanele) pentru a estima derivatele, fiecare pereche producând o estimare pentru parametrul considerat Se construiește apoi o histogramă a acestor estimări, care după aceea este netezită cu un nucleu gauss ;a Valoarea care corespunde maximului acestei histograme este valoarea căutată centru parametru în sfârșit, un proces asemănător este utilizat pentru găsirea p pornind (le la setul de disparități inițiale ale regiunii i ) Rafinarea rezultatelor O optimizare globală permite rafinarea rezultatelor Se pot distinge urmă- toarele metode: [Galeș, ]Uo indică faptul că sau nivele de segmentare sunt necesare 'lata de acceptare este numărul de împerecheri acceptate raportat la numărul do împerecheri efectuate O împerechere este acceptată ducă corespondentul găsit este sim it la o distanță inferioară sau egală cu pixel față de corespondentul teoretic, Galeș, Guillaume, Crouzil, Alain, Chambon, Sylvie, „ regiothbased randor-‘i::ed vatiug scheme for stereo matching”, în International Conference on Visual Computing volume de Lecture Notes in Computer Science, pp - , novembre Galeș, Guillaume, „Mise eu correspondance de pixe/ș potir la ste^ovisdm bvwidaire par propagation d'apparlements de paints d'lntfret et sondage de rigions", teză dc doctorat, Universitatea din Toulouse, iulie Idem Idem j А v; F I A ’ J La У • ?’ I Д M , ALAIN CROUZIL, GUILLAUME GALEȘ SYLVIE CHAMBON Segmentări Imagine - stânga Imagine • dreapta Punere în corespondență inițială Harta de regiuni Harta de regiuni Harta inițială de disparitate i I Sondaj Harta de disparitate Harta de disparitate Harta de disparitate Harta de disparitate Procedeu de fuziline Harta finală de disparitate Fig Etapele punerii în corespondență a pixelilor prin sondarea regiunilor Punerea inițială în corespondență a pixelilor — Aceasta permite obținerea unei hărți de disparitate care este utilizată pentru calcularea parametrilor diferitelor plane pentru fiecare regiune Această hartă trebuie să prezinte a priori un compromis bun între densitate și rata de acceptare Densitatea ridicată permite mai multe disparități pentru sondaj și un număr mai important de voturi O rată de acceptare ridicată permite reducerea numărului de voturi, conducând la rezultate eronate In [Galeș, ] [Galeș, ] se arată că o punere în corespondență locală cu măsura CENSUS (conf paragrafului ) sau o propagare de germeni (conf paragrafului ) constituie o inițializare de calitate bună Sondaj — Pentru fiecare regiune a fiecărui nivel de segmentare, o tripletă de puncte j dispaiităților inițiale (pixelii care nu au o disparitate inițială calculată nu sunt luați în calcul la tragerea la sorți) Parametrii planului, p p, ] , sunt apoi calculați ca: este trasă la sorti în spațiul j ^TUZ^’ /Va*n* Chambon, Sylvie, region-based randomîzed voting scheme for in Со nnuier^oi» ,n П on^renee on Visual Computing, volume de Lecture Notes i n Computer Science, pp — , novembre , mspondanee de pixels pour la stMovlsfa, binoculaire par Unicitatea din b>ulo^e,'?u|it ()l tezii de doctorat’ I Xr- ’• V t- O X * I Stabilirea corespondențelor între piyeli in stercoviziunea binoculară ( ) i '• •• cri X «ouțî Exemplu Aproximarea dispar ităților I , Principiul sondajului regiunilor în coloana centrală se pre iută plane c ind;is v l,K dnm ni ,Je t dacă dacă mi Fuziunea este ilustrată pe ultimul rând din Fig a« Bennammm Mohammed, »/ A matching”, IEEE Transactions on Systems, Man, and Cybernetics, ( ), - , ' Bay, Hcrbeit Ess, Andreas, Tuytelaars, Tinne, Gool, Luc Van, fWF: Speeded up robust features , Computer Vision and Image Understanding, ( ): - , Bleyer, Michaelm, Gelautz, Margrit, ,Л layered stereo matching algorithm using image segmentation ' and global visibility constraintsf ISPRS Journal of Photogrammetry and Remote Sensing, ( ): - , mai „ TCCD Bleyer, Michael, Rother, Carsten, Kohli, Pushmeet, „Surface stereo with soft segmentation , m IEEE ' Computer Society Conf on Computer Vision&Pattcm Recognition, pp - , San Francisco, CA USA, iunie Bobick, Aaron F„ Intille, Stephen S , Large occlusion stereo , Interantional Journal of Compt ter Vision, ( ): pp - , Bocquillon Benoît, „Contributions ă l’autocalibrage des cameras: modelisations et Solutions garant ies par Tanalyse d’intervallek, teză de doctorat, Universitatea din Toulouse, Oct Cech Jan, „Accurate and Robust Stereoscopic Matching in Efficient Algorithms , teza de doctorat Universitatea Tehnică din Pragă, Cehia, februarie Chambon, Sylvie, Crouzil, Alain, „Colour correlation-based matching”, International Journal of Robotics and Automation, ( ): - , Chambon, Sylvie, Crouzil, Alain, „Similarity measures for image matching despite occlusions in stereo vision”, Pattern Recognition, : - , Chambon, Sylvie, Crouzil, Alain, „Combination of correlation measures for dense stereo matching*, în International Conference on Computer Vision Theory and Applications, material electronic, Algarve, Portugal, martie l(b) Chen, Haifeng, Meer, Peter, „Robust computer vision through kernel density estimatiorif în European Conference on Computer Vision, voi , pp - , Copenhaga, Danemarca, mai-iunie Chen, Qian, Medioni, Gerard, volumetric stereo matching method: Application to image-based modeling”, în IEEE Computer Society Conference on Computer Vision and Pattern Recognition, volume , pages - , Fort Collins, SUA, iunie Comaniciu, Dorin, Meer, Peter, „Robust analysis of feature spaces: color image segmentation” în IEEE Computer Society Conf on Computer Vision&Pattem Recogn , pp - , San Juan, Porto Rico, juin Crouzil, Alain, Massip-Pailhes, Louis, Castan, Serge, new correlation criterion based on gradient fields similarity”, International Conference on Pattern Recognition, Voi , pp - , Viena, Austria, august Devemay, I rederic, Faugeras, Olivier, „Computing differential properties of -D shapes f*om stereoscopic images without -D models”, raport de cercetare RR- , Institut National de Recherche en Informatique et en Automatique, INRIA, Ford, Lester R Jr , fulkerson, Delbert R , „A simple algorithm for finding maximal networkflows and an application to the hitchcock problem”, Canadian Journal of Mathematics, : - , Freeman William T , Pasztor, Egon C„ Carmichael, Owen T International Journal of Computer Vision, ( l): - , Fua, Pascal, paradei stereo algorithm that produces dense depth maps and preserves image featuresf Intern Journal of Machine Vision and Applications : - , Galeș, Guillaume, Crouzil, Alain, Chambon, Sylvie, „A region-based randomized voting scheme for stereo matching , în International Conference on Visual Computing, volume de Lecture Notes in Computer Science, pp - , novembre Galeș, Guillaume, „Mise en correspondance de pixels pour la stereovision binoeulaire par propagat ion d appariemenls de points d'lntcret et sondage de ngions”, teză de doctorat Univ din Toulouse, iulie E Galeș, Guillaume Chambon, Sylvie, Crouzil, Alain, McDonald, John, „Reliability measure for matthln,s\-în Worksliop on Image Analysis for Multimedia Interactive Services, Dublin City University, Irlanda, mai „Learning low-level vision', ХЬіЫІРчм (\)п уюмсіепіеіоі' între pixeli In Мет ovtzlunea binoculară ЗжК ІНнІЖ ЛМхшш de for ier el de ehamps de deplecetihnis trldlmensionnels par stereo (dbbs distribuitori and the bayeslan restorailon Ud'l Trmwtlons on Pattern Analysis and Machine Intclligencc, ( ): — E Soeiety of America A, , pp - , n R N ROI MW, SILVIU BE NARUI, SIM(>NA PI SC AIW ( ) unde b, reprezintă proiecția ortogonala a lui a b Jean Ponce, Computer Vision A modern upproucli", Prentice Hali Tehnici de reconstrucție D din imagini multiple Algoritmul de reconstrucție afină prezentat de Tomasi și Haitley, Zisserman\ de estimare a in camere afine {М’Д*} și a n puncte tridimensionale Xj=( xjț y} z,V pornește dc la minimizarea distanțelor dintre pixelii estimați x’ = PjXj + t și pixelii corespondenți măsurați x j: min ^||Xj-Xj || = min ^Hx'j-(PiXj+t )|| ( ) M' t' X; i j M' t’ X- i,j J J în cele de mai sus m >= , n >= Se presupune că pixelii x’ sunt vizibili in toate cele m imagini și că măsurătorile sunt afectate de zgomot gaussian independent de medie nulă Minimizarea criteriului ( ) în raport cu translațiile t ale celor m sisteme afine conduce la: Ау||Хк (р x +tk)l| =o t'tj J J adică la sistemul: n n n -£(x'j-(P XJ + f))= пГ+Р,£у-£х‘= ( ) X j=i j=i j=i Prin urmare: i n n / -УХ = -Р{ ( ) n я n J= i V i unde s-au folosit notațiile: = — / j x’ și n Я Alegând sistemul de coordonate D al punctelor Xj=( Xj, y ? Zj)\ j=l,n, cu originea în punctul relația ( ) se reduce la: f = ( ) Rezultă că în fiecare imagine i, din totalul de m, măsurătorile pixelilor corespondenți se fac într-un sistem având originea în centrul de greutate al celor n pixeli în criteriul ( ) vom avea ('= Prin urmare, înlocuind în fiecare din seturile x valorile măsurate x‘ cu x’- criteriul ( ) se transformă în: rmn M’ Xj = min M-’ Xj У - pi \ II ( ) în forma matriceală relațiile x‘ = Pj XJ? i~l дп, j~l,u se scriu ca: Carlo Tomasi, Гакео Kanade, „Shape and moiion Crom image streams under orthography: A factorizat’on approach , în International Journal of Computer l ir:on vM , Issue November , pp, - Richard Harțicy, Andrcw Zisserman, „Multiple \ iuw Geometry in Computer Vision’", Cambridge University Press, Second Edition SILVIU BE I NARIU, SIMONA PESCARU FLORIN ROTARU n ( ) —tu —in YU m J Matricea W a măsurătorilor este: n n W = ( ) m n Deoarece, din cauza erorilor de măsurare, matricea măsurătorilor nu verifică ( ), determinarea matricelor P, și a punctelor Xj se realizează prin minimizarea criteriului: def и ( ) în raport cu P,, i-l,m și vectorii XJ? j-l,n în relația de mai sus vectorii d sunt coloanele matricei măsurătorilor W normalizate: n n w = n ( ) m n Minimizăm criteriul E ( ) în funcție de X =: = j L —j Ceea ce înseamnă că: X = P+d j j Matricea P+este pseudo-inversa matricei P P*=(P P) ’ P înlocuind Xjîn expresia lui E avem: ( ) ( ) ( ) ( ) Se observă că matricea PP ' asociată cu un vector d din R m este nroiecția ortogonală în subspatiul tridimensional V , , proiecția r* neiai de coloanele lui P Rezultă că E Tehnici de reconstrucție ) din imagini multiple măsoară norma diferenței dintre vectori d , dn ] Matricea P care minimizează criteriul E verifică relația VP = Ѵи astfel încât avem: P = U Cum X = P d: pentru toate punctele din spațiul alin avem: J J ( ) unde V; este o matrice x n obținută din cele trei coloane din stânga ale matricei V iar W este o matrice x obținută din valorile singulare corespunzătoare în concluzie algoritmul clasic de factorizare pentru calculul reconstrucției afine și a matricelor camerelor este: Se calculează descompunerea SVD a matricei măsurătorilor: (I = UWV* Se construiesc matricele U , V și W obținute din cele trei coloane din stânga ale matricelor U, respectiv V și submatricea corespondentă x a lui W Se calculează: P = U și X = W V P este o matrice m x care estimează mișcarea camerei iar X este o matrice > x n care estimează structura scenei în continuare vom analiza câteva modele de proiecții (camere) afine în vederea trecerii de la reconstrucția afină discutată mai sus la reconstrucția euclidiană Presupunem că imaginile sunt preluate de o cameră calibrată astfel încât punctele din imagine sunt reprezentate prin vectorii coordonatelor normalizați Vom vedea că ecuația proiecției afine = P{X se aplică și pentru aceste modele Cu toate acestea, de această dată există unele constrângeri asupra componentelor matricei de proiecție P Fig Proiecția ortografică (după I orsytfi ±i Ponce ) David A borsyth, Jean Ponce, „Computer Vision A modern approach”, P ren ti ce I laiI Pentru o cameră ortografică, matricea P este o parte a matricei dc rotație, rândurile a’ și b' sunt vectori unitate ortogonali Cu alte cuvinte, o cameră ortografică este o cameră afină cu constrângeri suplimentare: ( ) Proiecția «weak perspective» I Fig Proiecția weakperspective (după Forsyth și Ponce ) Proiecția weak perspective este o aproximare a proiecției obișnuite (pinhole camera), construită astfel: se consideră C ca fiind centrul optic al camerei și R un punct de referință al scenei; proiecția weak perspective a unui punct P din scenă este construită în doi pași: prima dată se proiectează ortografic punctul P într-un punct P’ din planul ГГ paralel cu planul imagine П, care trece prin punctul R Proiecția perspectivă este apoi utilizată pentru maparea punctului P’ în pixelul p Deoarece iTeste un plan paralel planului imagine, efectul celui de-al doilea pas este o scalare a coordonatelor imaginii Rezultă că o cameră weak perspective este o cameră afină îndeplinind condițiile: ( ) Proiecția paraperspectivă I ig, I'ralecfia paraperspectivă (după Forsyth și Ponce ) w Idem nota Tehnici de reconstrucție D din imagini multiple Proiecția para-perspectivă este o aproximare a camerei pinholc care ia în considerare distorsiunile asociate cu un punct dc referința care nu aparține axei optice a camerei Notând cu Д dreapta determinată de centrul optic C și punctul de referință ргоіесра paralelă pe direcția lui Д este prima care se folosește pentru a mapa punctul P* în punctul p din imagine Se demonstrează că o cameră para-perspectiv ă este o cameră afină care satisface următoarele restricții a b = — -rr a —r—b și țl - v ) a — ( + ) b t ) ( -uJ ( + v*) unde (ut Л, ) sunt coordonatele proiecției perspective ale punctului R Pentru acest model vectorii a și b nu formează o bază pentru planul imaginii In schimb, constituie o bază în planul vectorial ortogonal pe dreapta caie unelte centrul optic ai camerei cu punctul de referință Cum era de așteptat, constrângerile para-perspectiv e se reduc la constrângerile din cazul anterior (vveak perspective) atunci când U = Vr = iar acestea, la rândul lor se reduc la constrângerile ortografice atunci când planele П și ГГ coincid Să vedem cum se ajunge la o structură euclidiană plecând de ia o structură afină realizată prin proiecție ortografică Presupunem că urmărim un obiect în mișcare cu o cameră care poate fi aproximată afin prin modelul ortografic (obiectul este de dimensiuni mult mai mici în raport cu distanța obiect-cameră) Sunt achiziționate N caracteristici în F cadre, corespondența realizându-se cu unul din algoritmii din literatura de specialitate în cele ce urmează folosim notațiile: > (ut-,\ fl)' coordonatele caracteristicii i, i=l,N, din cadrul f; Р МХЛ JZi)t, coordonatele neomogene ale caracteristicii i în sistemul camerei; , coordonatele omogene ale caracteristicii în sistemul camerei • = (ix> >iy, ,i; jf =(jXf jyr,jZf) primele două rânduri ale matricei oj lonormate ale camerei ortografice corespunzătoare cadrului f; coordonatele centrului de greutate al obiectului urmărit pentru cadrul f Matricea măsurătorilor, formată ca urmare a colecționării celor ’N caracter istici în F cadre, este: Idem nota Joio Cosieira, Такео Kanade, „A Multi'body luitorratăm Method for Motion Analysis” în International Journal of Computer l lslon, » pp * Q FLORIN ROTARU» SILVIU BEJ NAR U, S MONA PESCARU ^FN ( ) în forma compactă ( ) este: W=MS unde matricea măsurătorilor a fost notată cu W, matricele camerelor adică ( ) matricea mișcării cu M iar matricea structurii cu S Calculul matricei de mișcare și a structurii (coordonatele D ale caracteristicilor) s-ar rezuma la descompunerea SV D a matricei W: w = uEvl O primă soluție pentru matricea mișcării și cea a structurii ar putea fi: ( ) ( ) Descompunerea matricei măsurătorilor nu este unică în cazul afin general așa cum s-a arătat Pentru orice matrice x nesingulară A în cazul general este valabilă și soluția: M = MA ; S = A IS întru-cât: MS = (MA)(A’ S) ( ) Urmează calculul matricei x A: ( ) unde primele trei rânduri ale blocului x AR formează o matrice de rotație iar vectorul x este vectorul translațiilor, care să facă din matricea: M = MA = MAr Ma ( ) matricea unei camere ortografice Condițiile ( ) conduc la sistemul: n‘iARARn,'= ; ni|ARA,Rmj=l ( ) miARAR,«j= ( ) necunoscutele fiind elementele matricei AR In ecuațiile de mai sus ih {, i I ,F; ui (, j=F - , F, sunt rândurile matricei M » Vectorul translațiilor atse calculează în felul următor Cum proiecția centrului de greutate al obiectului este totuna cu centrul de greutate al proiecțiilor caracteristicilor avem: Tehnici dc reconstrucție D din imagini multiple w = = Ms ( ) Fi - MAR A P Ma ( ) unde p = —Vp este centrul de greutate al caracteristicilor D ale obiectului Cum originea sistemului de coordonate atașat obiectului poate fi aleasă în centrul de greutate al caracteristicilor acestuia avem p = , ceea ce înseamnă că a, poate fi calculat din: w = Mat Soluția este: at =(M'M)' M'w = ( ) ( ) Celelalte două cazuri de proiecție afină sunt tratate în aceeași manieră, cu excepția faptului că în cazul proiecției weak perspective condițiile ab = și i a = b "pentru m- imagini vor înlocui cele m- condiții ( ) iar în cazul pro-i lecției paraperspective se vor utiliza condițiile ( ) în locul celor m- condiții > Am presupus până acum că toate cele n caracteristici punctuale din cele m imagini aparțin aceluiași obiect, deci se deplasează cu aceeași viteză Pentru cazul în care caracteristicile aparțin unor к obiecte având mișcări diferite suni prezentate două metode de segmentare a punctelor în mulțimi de puncte reprezentând același obiect Problema se reduce la factorizarea mai multor matrice ale măsurătorilor, compuse din corespondențele caracteristicilor aceluiași obiect a) Forma redusă a matricei de date Definim matricea măsurătorilor ca fiind: ( ) De data aceasta, D nu are rangul , hi schimb, sub-matriccle formate din coloanele corespunzătoare fiecărui obiect voi avea CvI mult rangul Rangul maxim al matricei globale de date va fi k Cu alte cuvinte, coloanele lui F) coitspunzătoare FLORIN ROTARU SILVIU BEJ NARIU, SIMONA PESCARU pentru fiecare obiect se alia în subspații cel mult patru-dimensionale Construirea, formei reduse a lui D va identifica aceste subspații și vectori coloană care aparțin aceluiași obiect Gear oferă mai multe metode pentru calcularea formei reduse folosind metoda de eliminare Gauss-Jordan și de reducere QR b) Matricea formei de interacțiune Abordarea prezentată în secțiunea anterioară se bazează pe structura afină a imaginii afine Costeira și Kanade au propus o metodă diferită de factorizare a matricei de date Presupunând că se urmărește deplasarea a două obiecte în mișcare și că s-a realizat segmentarea caracteristicilor astfel încât se cunoaște apartenența lor la obiecte vom avea o matrice a măsurătorilor în forma canonică: W* =[W, I W ] ( ) unde submatricea W}are Ni coloane corespunzătoare celor Ni caracteristici ale primului obiect iar submatricea W are N coloane corespunzătoare celor N caracteristici ale celui de al doilea obiect Fiecare submatrice a măsurătorilor poate fi factorizată ca în cazul urmăririi mono-obiect, relația ( ): ( ) ( ) unde = , Ecuația ( ) are așadar următoarea formă: \ W = [M, |M ] S o o s ( ) l, o o a - L ( ) = [M,|M ] Folosind notațiile: A Jfc A W = |M, |M? I ( ) ( ) C' ^,lliam atouping In пюѵіпп objectș” în Proceedings oftiie IEEE Workshop j j on Motion of Eon* Rigid and Artlculated Objects, ,t pp - Joao Coslcira, IM eo Kanade, \ Mulli-hody * actori zation Method for Motion Analysis’* în International Journal oj (Computer l'lsiori, ( ) , pp [ ( Tehnici de reconstrucție D dm imagini multiple Se obține o factorizare similară celei urmăririi unui singur obiect W* =MV ( ) ( ) ( ) ( ) ( ) Din relația ( ) rezultă ca rangul matricei măsurătorilor pentru două obiecte diferite are rangul cel mult în continuarea paragrafului vom considera ca cele două obiecte sunt tridimensionale prin urmare matricea W are rangul , întrucât submatricele corespunzătoare celor două obiecte au rangul în general, rangul unei submatrice a măsurătorilor reprezentând un plan în mișcare este iar rangul unei submatrice rezultate din urmărirea unei drepte în spațiu e în realitate nu se cunoaște apartenența caracteristicilor la obiecte, prin urmare coloanele matricei măsurătorilor reprezentând un obiect pot fi intercalate intre coloanele reprezentând caracteristicile celuilalt obiect Lotuși matricea măsurătorilor poate fi descompusă SVD în forma cunoscută: W-UZV urmând a fi determinată matricea A în așa fel încât matricea formelor să aibă expresia ( ) iar cea a mișcării forma ( ) Totuși din cauză că acest lucru presupune segmentarea caracteristicilor deja efectuată, trebuie aplicată mai întâi o operație de regrupare a coloanelor matricei W inițiale în așa fel încât, în ipoteza mișcă îi a două obiecte D, aceasta să fie defalcată în două submatrice de rang O idee ar fi ca începând cu primele patru coloane liniar independente ale matricei W sa fie depistate și grupate adiacent toate celelalte coloane liniar dependente de ba a celor patru Procedeul continuă recursiv până se obține în final o segmentare a matricei inițiale în doua submatrice de lang patru, în exemplul nostru Lotuși procedura, atunci când nu este cunoscut numărul obiectelor și tipul acestora (obiect \ plan sau dreaptă) poate deveni foarte complexă Costeira și Kanade au propus o metodă de grupare pe obiecte a coloanelor matricei W caic pornește dc la informațiile conținute într o matrice Q a interacțiunii formelor definită ca fiind; О = ѴѴС ( ) unde V este matricea rezultată din descompunerea SVD ( ) a matricei inițiale a măsurătorilor, în cazul particular al deplasăm celoi două obiecte ) matricea Q are dimensiunea (N HN )x(N I i N ) idem nota FLORIN ROTARU, SILVIU BEJINARIU, SIMONA PESCARU Matricea Q are mai multe proprietăți interesante: Unicitatea Se obține unic, prin descompunerea SVD ( ) a matricei măsurătorilor inițiale, descompunere care dă matricea V Fiecare element al lui Q conține informații referitoare Ia faptul că o anumită pereche de caracteristici aparține sau nu aceluiași obiect Din moment ce forma canonică W a matricei măsurătorilor, adică forma în care coloanele reprezentând același obiect sunt grupate adiacent, se obține prin permutarea coloanelor matricei W inițiale și matricea V ' rezultă din permutarea acelorași coloane ale matricei V din descompunerea ( ) a matricei inițiale W De asemenea și forma canonică Q*= V*V*f a matricei interacțiunii formelor va rezulta din permutări corespunzătoare de rânduri și coloane Introducând ( ) in Q — V V se obține: Q*=V*V*t Q*t a *t *— a ♦ x-x * unde A] și A sunt matrice x гепге ₽пга^я obiect P ezentand momentele de inerție ale fiecărui ^ в” = Blocurile ne-diagonale au valori mult mai apropiate de zero decât matricole A(r) iar blocurile diagonale valori ne-nule mai mari ceea ce face segmentarea mai simplă Jin ) ica ГР Fig Mișcări relaționale Rândul de sus: matricele A(r); Rândul al doilea: matricele H pentru r= , (după Kim și Agapito ) Mișcări independente în rândul de sus sunt figurate matricele A(r) iar în rândul al doilea matricele H pentru r= , (după Kim și Agapito* ) ) я ii Fig ilustrează matricele A(r) și H in situației in care c^l^tuctele au m comun unele din mișcările de rotație în timp ce blocurile ne-diagonale ale matricelor A(r)sunt ne-nule cele ale matricelor II își păstrează proprietățile din mișcarea independentă, constituind un instrument mai potrivit pentru segmentarea mișcării O problemă este alegerea dimensiunii maxime D din relațiile ț ), ( ) în algoritmul dc segmentare propus du Kim și Agapito este pus în evidență faptul că D este calculat astfel încât maximile din histogramele matricelor II să fie distanțate la tfal of Idem nota Jae-Hak Kim, Lourdes Agapito, „Motion Segmentation using ihe Hadiunard Product and Spectral Clustering” în Proceedlngs of the internațional coryi'ence or Motion and video computing (WMVC ) December , Snowbird, Utah USA, pp - Idem nota l I ' iii i f t ) ,rt Ч V I ; и ' * * Я* H , fc ’ ii - I ir f fei di іЛ li fl ’Г л г FLORIN ROTARU, SILVIU BEJINARIU, SIMONA PESCARU cel puțin o valoare t, stabilită anterior iar diferența dintre maximelor sa tie mai mare decât o valoare de prag t Algoritmul de segmentare Kim-Agapito este: L Determina matricea V din descomniinAr^a с\/гл • d= ; oescompunei ea SVD a matricei măsurătorilor W; elementele din jurul Calculează Q(r)=V(r)V(r)t; A(r) = e oprn ale matricei L ( ) este o măsură a separabilității claselor Se alege si îr П -T • o / * Șl Schnorr lucrează cu a- în vd] formată din primele D matricei măsurătorilor Se N ( ) ( ) Fabien ’ ~ ’ PP' S' ' [ț Tehnici de reconstrucție D din imagini multiple Se incrementează valoarea curentă a lui D, D-D-t I, și $c reia procedeul dc mai sus până când D=ndinax+ Se alege apoi drept valoare optimă pentru D=max rkși se aplică pentru această valoare algoritmul de Justerizare propus de Ng, Jordan și Weiss > în concluzie, algoritmul Lauer-Schnorr este: l Determină matricea V din descompunerea SVD a matricei măsurătoiilot VV D ndnțnft'l * Calculează matricea A conform (“b) Determină matricea L din ( ) și primele ei n+ valori proprii -• rD~ - S+i - - Dacă D=ndmox+ continuă cu pasul , dacă nu reia procesul de la pasul D=ntax rk ; Construiește matricea X=[vt, v vD ] Construiește matricea A astfel: A,l=’cxp(J|v Vj|| ' ) daca i j, Ан= , cu ij— , O N Construiește matricea diagonală D: Dit = Ay și matricea L = D Al) W v, я Determină primii D vectori proprii ai matricei L și formează matricea U JD j=i Aplică metoda de clusterizare k-means rândurilor matricei U și asignează clusteraihii corespunzător fiecare coloană a matricei X=[ vj , V , vD] Reconstrucție proiectiva Vom discuta mai întâi un algoritm de reconstrucție proiectivă si apoi vom analiza un algoritm care tratează global, la nivelul întregului set de corespondențe, atât reconstrucția modelelor camerelor și a punctelor din spațiul proiectiv cât și calculul parametrilor \j Plecând de la ecuația exactă a proiecției x a unui punct X din spațiul proiectiv în planul imaginii camerei P: Xx = PX ( ) vom nota cu: Andrew Y Ng, Michael I Jordan, Van Wciss, „On spectral chistering: Analysis and an algorithrrT în Advances in Neural Information Processing Systems (NIPS’OZ), MIT Press , voi , pp - FLOKkN ROTaRD, SIt \ R) BllHNARRI» SIMONA PBSCARU den și Sparr propun următoarea metodă de reconstrucție proiectivă, pornind de la setul de n corespondențe din primele două imagini din setul de m imagini: Fie variabilele q; j = —, inițializate pentru început cu Se determină T = — д^х-(хіх )~ îi m i=l Din descompunerea SVD T=USU se rețin matricea U și a cincea valoare singulară, o Dacă este mai mică decât un anumit prag prestabilit și tot setul de imagini a fost procesat calculul coeficienților •, matricelor X și P, se încheie Fie X matricea obținută din U prin reținerea primelor patru rânduri Adaugă una sau mai multe imagini și completează șirul de corespondențe Pentru noul șir de corespondențe calculează A - din xiAi = PfX în felul următor: fie Х*(ХХ ) Х și Qj=I- TD Relația xiAi = PX este echivalentă cu Q/ХхДі) - , ceea ce înseamnă m ecuații lineare având m necunoscute (A,) W Soluția rezultă din optimizarea: min /, Qd-^Aî II unde X- j=l, , , sunt trei / ’ IIAill=i ‘ coloane ale matricei ( ) considerate în această relație drept rânduri Determină q j = -—-, calculează xt și continuă cu pasul j Avantajul algoritmului lui Berthilsson, Heyden și Sparr în raport cu metoda lui Heyden" constă în faptul că atunci când este nevoie doar de reconstrucția X convergenta este mai rapidă In acest caz pasul se modifică în sensul că procesarea se încheie atunci când valoarea singulară o este sub un prag prestabilit în continuare vom analiza algoritmul propus de Mahamud și Herberf care spre deosebire de metoda lui Sturm și Triggs tratează global, la nivelul întregului Richard Berthilsson, Anders Heyden, Gunnar Sparr, Recursive Structura and Motion from Image Scquences using Shape and Depth Spaces” în Proceedings of the International Conference Computer Vision and Pattern Recognition , , pp - OH Idem nota Anders Heyden, „Reconstruction from multiple ’mages by means of using relative depths” în International Journal of Computer Vision, ( ), , pp - Shzjan Mahamud, Martiul Herbert, „Iterative projec ive reconstruction from mulvple views”, în Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR * ) June, , pp - FI ORIN ROTARU SILVIU BEJ NARIU, SIMONA PESCARU set de corespondențe, atât reconstrucția modelelor camerelor și a punctelor din spațiul proiectiv cât și calculul parametrilor Sturm și Triggs propun determinarea acestora din perechi de imagini, ceea ce ar conduce la acumularea erorilor de calcul, în timp cc în primul caz distanțele X;jsunt calculate folosind întreg setul de corespondențe odată cu calculul matricelor camerelor și reconstrucției proiective în plus algoritmul lui Sturm și Triggs este mai laborios întrucât pentru fiecare pereche de imagini trebuie determinate matricea fundamentală și epipolii Metoda lui Mahamud și Herbert calculează distanțele Xi;j simultan cu reconstrucția proiectivă (P și X din relațiile de mai sus) optimizând un criteriu derivat dintr-o condiție îndeplinită de toate cele m imagini ale aceluiași punct din spațiul proiectiv Metoda este asemănătoare celei propuse de Berthilsson, Heyden și Sparr’ , cazul în care se determină reconstrucția proiectivă în totalitate, însă normalizarea datelor este diferită, formulată mai natural, ceea ce conduce la o altă problemă de optimizare In cele ce urmează vom arăta că dacă matricea P din relația ( ) este cunoscută parametrii X,; corespunzători imaginilor x(j ale un punct X( din spațiul proiectiv în toate cele i=l,m imagini pot fi deduși rezolvând o problemă de vector pro- priu derivată dintr-o condiție de subspațiu Fie Sj vectoiul coloană rezultat din proiecția punctului Xj în cele m imagini: ( ) JIJJ = pxj Din relația de mai sus rezultă că dacă matricea P este cunoscută se poate verifica dacă pixelii rezultați din măsurătorile în cele m imagini sunt într-adevăr imaginile aceluiași punct Xj atunci când putem calcula parametrii X,- și punctul X; J Din expresia ( ) se vede că vectorii aparțin unui subspațiu generat de combinații ale coloaneloi matricei P având coeficienții dați de vectorul Xj Condiția de subspațiu din caic va fi derivată relația de calcul pentru X—conduce la faptul că reziduul proiecției vectorului Sj pc spațiul coloanelor lui P este nul: ( ) unde Xj ( X( j, X j, Xmj )l iar P este pseudo-inversa matricei P De notat că reziduul Rj este normalizat pentru a se evita soluția trivială S:= Expresia de mai sus se simplifică dacă se alege o bază ortonormală pentru spațiul coloa- A, ri,hm for ^uUi-lmaee Projective Structure April , pp - ' " OpeW ' ог‘-,егепсе °n Computer Vision, Cambridge, England, Idem nota idem noi я Idem nota nota Tehnici de reconstrucție D din imagini multiple nelor matricei P Fie U , „ „ C matricea mx ale cărei patru coloane constituie o bază ortononnală a spațiului coloanelor lui P Din cauză că UMJ* expresia reziduului se transformă în: s*UU's; ( ) ( ) Punând în evidență necunoscutele X;jși corespondențele x^ avem s’U = XjAj unde rândul i al matricei mx Ad este dat de q’jU,, cu Ц matricea x formată din rândurile i, Зі+ , ЗІ+ ale matricei U Prin urmare: e х’в/, unde matricea diagonală В j are elementul (i,i) de forma Câteva proprietăți ale funcției G j (X j): Deoarece reziduul Rj(Xj) = —Gj(Xj) rezultă că Gj(Xj) aie valoarea maximă G (k ) atinge valoarea maximă pentru o anumită valoare a vectorului kjdacă J J într-adevăr pixelii xv sunt imaginile aceluiași punct Xj Maximul lui G,(X,)este dat de cea mai mare valoare proprie p din ecuația: Din cele de mai sus rezultă că pentru a verifica faptul că pixelii x- sunt inia- ginile punctului Xj în cele m imagini trebuie ca valoarea proprie maximă dată de relația de mai sus să aibă valoarea Vectorul Xj căutat rezultă din vectorul propriu corespunzător valorii proprii maxime Din cele de mai sus rezultă că pornind de la corespondențele cunoscute x- dacă am ști parametrii Xj , matricele P{ și reconstrucția Xj se pot obține prin meto-dele de factorizare deja discutate Reciproc, dacă am cunoaște matricea P, folosind condiția de subspațiu discutată mai sus am putea determina Ăj , Folosind depen- dența circulară dintre necunoscutele P, și X ; se conturează următoarea metodă de reconstrucție proiectivă: pornind de la valorile inițiale Xj = = se determină matricea P, prinți-una din metodele de factorizare folosite în cazul reconstrucției afine Apoi cu noua matrice P aplicând condiția de subspațiu se determină noile valori X ; Teoretic în pasul к al procesului iterativ acestea rezultă din minimizarea relației: ( ) FLORIN ROTARU, SILVIU BBJINARIU, SIMONA FESCAKU unde ые to a șpatiuhiț camerelor calculatS in pasul k Valonle oplrme pentru X, m Gk(Xk) ( ) Demonslraiie La începutul iterației к dispunem de IIй d N a • x este menținută constantă matricea Uw și este maximizată funcția obiectiv Proceedinge of the IEI 'ereconstp,ction from multiple views” în June, pp - ' P (l'' li,on anct Patterf> Recognition (CVPR'Q ) Tehnici de reconstrucție D din imagini multiple Gk (X) pentru obținerea matricei X * Prin urmare vom avea Gk (Xk) !£ G (k ) în caz de egalitate procesul iterativ se încheie Altfel, se determină lf din factorizarea noii matrice a măsurătorilor construită din setul inițial de corespondențe și noii factori д' Notăm noua matrice a măsurătorilor cu Wk Coloanelej ale acesteia sunt normalizate de ((X , )' BjXk): ( ) Din descompunerea SVD a matricei Wk construim matricea U formată din cele patru coloane ale primei matrice a descompunerii corespunzătoare celor mai mari patru valori singulare Rămâne să arătăm că Gk (kk) > Gk I (Xk), prin tranziti vitate rezultând apoi ceea ce trebuia demonstrat: Gk (kk) > Gk (Xk ) Proiecția unei matrice W pe un subspațiu U este dată de tr(UAVWUi Lema extensiei a lui Poincare arată că proiecția unei matrice W pe un subspațiu ortogonal U, г dimensional, este maximă atunci când subspațiul este generat de primii din stânga r vectori singulari U ai matricei W Adică: max trțU'WW'U) = tr^WWV) ( ) Pentru r= se poate vedea că proiecția lui Wk pe U=Uk nu este altceva decât Gkl(Xk) Notând U’ = Uk din descompunerea SVD a lui Wk rezultă Gk(Xk)>= Gk‘ (Xf‘) în final avem: Gk(Xk)>= G^V’ ), ceea ce trebuia demonstrat în continuare vom analiza din alt punct de vedere problema rezolvării sistemului ( ) pornind de la matricea celor n corespondențe din m imagini Rescriem ( ) în forma: P P ( ) ^lnXln ^ nX n ^m Xin ) V Ideal ar fi dacă s-ar putea folosi ca în cazul alin optimizarea care minimizează distanța dintre pixelii corespondenți detectați în urma procesării celor m imagini șj pixelii estimat! pornind de la parametrii Xjj, Xj și Pp ( ) Din păcate minimizarea lui E în raport cu Лу, Pj și X j conduce Ia sisteme neliniare greu de rezolvat Folosind însă notațiile de mai sus în raport cu X j, P și Xj Adică minimizarea distanțelor dintre proiecțiile punctului Xj în toate cele m camere și imaginile sale Xy scalate de parametrii Л- Procedăm ca mai sus la minimizări succesive, mai întâi consideiand P fix și optimizând Ej in raport cu к și Xj iar apoi cu noile valori X, minimizăm E în raport cu P și X prin factorizare Ca și în cazul afin minimizarea lui Ej în raport cu Xj conduce Ia faptul că z z- optimul lui Ej se obține pentru Xj=Psj, rezultat din SE- = , unde aXj p+ =(p,p)’ p,: я r(I-PP)Sj ( ) Cum P este o matrice mx descompunerea SVD va avea forma P=UWVt, cu U o matrice mx având coloanele ortogonale, W o matrice diagonală nesingulară x și V o matrice ortogonală x Pseudo-inversa matricei P a matricelor camerelor este așadar P+ =VW' Ut, ceea ce transformă relația de mai sus în: Lj - -(I-UU')Sj >j -s‘(UU*)s‘ s‘(uu'X = ——- , J ( ) SJ S • J SJ Ceea ce înseamnă că minimizarea criteriului Ej se transformă în maximizarea expresiei Sj(UU')s- în raport cu Xj Deoarece s' = X’Q , unde în fmal trebuie optimizată expresia: ( ) unde A^QjUU’QJ iar Gj (Z() de mai sus, QjOj iin штаге trebuie maximizat criteriul Tehnici de reconstrucție D din imagini multiple Așa cum s-a arătat, cu noile valori X,, introduse în matricea măsurătorilor se determină prin factorizare următoarea baza ortonormată Uk și procesul continuă până când valorile Хц se stabilizează Sintetizând, algoritmul dc reconstrucție proiectivă discutat mai sus are următorii pași: Pornind de la valorile inițiale Х^= repetă până la convergență pașii: Normalizează fiecare coloana a matricei In In n n \n \n ’ ' ^mn^mn Din descompunerea SVD a matricei D=UWV' formează matricea U reținând primele coloane ale matricei U Pentru toate corespondențele j=l,n repetă pașii: calculează AjHJjUAJ/Q/ și Bj=QjQj‘; calculează vectorul Xj; actualizează coloana corespunzătoare a matricei D cu noile valori X , ■ Tehnici de urmărire a unui corp rigid; Tehnici de calcul pentru estimarea D a mișcării în cele ce urmează vom analiza un sistem de urmărire a unui robot mobil care se deplasează în mediu natural Pe robotul mobil este montat un sistem trinocular de camere video care captează imagini ale mediului în urma procesării secvenței de imagini achiziționate pe parcurs în final se determină traiectoria robotului într-un sistem de referință extern Procesul de urmărire constă din pașii: Extragerea din imaginea curentă a trăsăturilor care vor fi urmărite in cădi ut următor Calculul coordonatelor D ale trăsăturilor extrase prin tehnici stereo Urmărirea trăsăturilor D în secvența de imagini Estimarea mișcării: Calculul poziției robotului într-un sistem de referință extern Corecția poziției robotului și a coordonatelor D ale caracteristicilor scenei în continuare vom discuta în detaliu pașii de mai sus Extragerea trăsăturilor într-o primă etapă, Saeedi Lawrence și Lowe au aplicat algoritmul de Parvaneh Saeedi, Pcter I) Lawrence, David G Lowe, „ ) Motion Tracking of o Mobile Robot in a Natural Environmenl” în Procecdin^s of the l/'RR International Conference on Robotics and Automation, ICRA , pp, - iEJINARIU, SIMONA PESCARII FLORIN ROTARII, SILVIU extragere de colțuri propus dc Harris și Stephcns , potrivit căruia colț este declarat once pixel pentru care o funcție de răspuns, descrisă mai jos, notată cu R, are o лаіоаге pozitivă semnificativă Calculul lui R presupune definirea mai întâi a unui criteriu E(x,y) calculat pentru deplasări mici ale unei ferestre circulare de interes, notată cu Wu v, în jurul pixelului curent (u,v): E(x,y) = Wu v|l în relația ( ) luv este intensitatea pixelului (u v) din imaginea curentă iar ti +v X, у reprezintă deplasarea ferestrei circulare W = e ° în ipoteza unor deplasări mici ale ferestrei criteriul E(x,y) poate fi aproximat ca urmare a dezvoltării în serie Taylor a termenului I ’ -T жп ecuația ( ): x+u’y+v “’v П ( ) Е y+V -Iu v = Wu v xX + yY + O (x ,y ) « «Wuv|xX + yY)| ( ) imde ( ) Așadar E(x,y) poate fi scris ca: E(x,v) =Ax - %’v , I B ( ) C = XY ® W ( ) cu M i este declarat orice nixel J valoare pozitivă semnificativă în Peil,ru care R=Det(M)-K*tTr cesnte de la cadru Ia cadru « oare рогі,іѵл «emnifleativa/în Г" ^’^ЖЧТКМ))’ maximal valorilor proprii al - R ЯГР жгліл-î — - muchii valori negative Metoda de mai sus este eficientă timp real cum este cea descrisă * devine prohibitivă fiind consumatoare defim,: PUe Confennee, mț pp ' (’ ț ] co"w «d edge detector’' în Proceedings of th Alvey яРИса{іі de Tehnici de reconstrucție D din imagini multiple O metodă mai rapidă decât cea a lui Harris și Stephens a fost propusă de Saeedi, Lawrence și Lowe’ și este aplicată pentru determinarea traiectoriei robotului obil ® într-un prim pas imaginea inițială este binarizată Mai întâi se aplică un filtru Gaussian Pentru ст = filtrul poate fi aproximat prin convoluții cu masca [ , , ] în acest fel cele patru înmulțiri presupuse de convoluție sunt înlocuite de patru operații de shifting Apoi în imaginea rezultată, în fiecare pixel I(i, j), este calculat Laplacianul potrivit formulei: ( ) Imaginea binară este generată în funcție de semnul Laplacianului ( ) în fiecare punct: altfel Apoi în fiecare pixel al imaginii binare rezultate este plasată o masca circulară cu diametrul de pixeli Valoarea binară a fiecărui pixel p din interiorul măștii este comparată cu cea a pixelului central р<>: C(p ,p) IdacaL(p) = L(p ) OdacaL(p) Ф L(p ) ( ) unde L(p) este valoarea binară a pixelui p(x,y) din interiorul măștii circulare iar L: p ) este valoarea pixelului central La nivelul întregii măști w se calculează: n(Po) = £c(Po,P) ( ) w în ( ) n(p ) este aria zonei măștii unde semnul Laplacianului este același cu cel al Laplacianului punctului central Pixelul central Po este luat în considerare ca posibil colț dacă n(p ) este mai mic decât jumătate din pixelii ferestrei w valoare pe care o vom nota cu L Prin urmare un pixel este candidat colț dacă R(p ), definit mai jos, este pozitiv Chr s Harris, Mikc Stephens, „A combinei! corner and edge detector” în of th Alvev Vision Conference , pp - P«r vanei; Saeedi, David G Lowe, Peter D, Lawrence: „An e eficient binary corner detector” fn Proceedings of Seventh International Conference on Control, Automation Robotics and Vision, ICARCV , pp - Paryaneh Saeedi, David G Lowe, Peter D, Lawrence, „ D localizatioti and tracking in unknown environments'’ în Proceedings of the IEEE International Conference on Robotics and Automation ICRA , pp - I ar van eh Saeedi, Peter D, Lawrence, David G Lowe, „Vision-based -D tmjectory tracking for unknown environments” în IEEE Transactions on Robotics, feb , voi, , pp - r R N ROTARU, SILVIU BEJ NAR U, SIMONA PESCARU ( ) (HO) unde u [ altfel Apoi pentru fiecare pixel cu R(p,)> Osc calculează criteriul O(p„): (IU) vv (Х’)=^ЖГ' Centrul de greutate G(p ) furnizând direcția colțului este folosit drept criteriu la filtrarea candidaților Se aplică condiția: ( ) — \ru/' *g Un ultim criteriu de selecție a colțurilor constă în aplicarea unui criteriu iuând în considerare derivata direcțională a candidaților Candidații cu derivate mic direcționale sunt eliminați Ultima condiție de colț este: unde I este pragul pentru variația intensității Calculul coordonatelor D ale trăsăturilor extrase prin tehnici stereo Stabilirea perechilor de trăsături în cele două camere ale fiecărui sistem stereo se face aplicând mai întâi criteriul sumei normalizate a pătratelor diferențelor pent j stabiliiea unui set inițial de perechi După care perechile stabilite inițial sunt triate prin metoda minimizării disparităților , discutată pe scurt la sfârșitul paragrafului, pentru cazul unidimensional i ^ată stabll,le caracteristicile punctuale imagistice de urmărit se determină punctele din scena reală ale căror imagini aceste caracteristici sunt, folosind fie un sistem stereo fie un sjstem trinocular, ilustrat de fig , în sistemul stereo cele două dZr ?im” Tr CriZ°n!al aSlfel încflt epipolara corespunzătoare oricărui pixel XcuUrXcbii deT't CU aX ‘l ?* * i teraului celeilalte imagini în sistemul vertical cu camera din dn^îe '- Onta' se 'lla’ adaugă o cameră aliniată a sistemului trinocular D«Ji' ''''lllu " sll‘IVu inițial, care devine camera centrală -tem trmoi ular Deși reconstrucția este posibilă din doar două imagini cea de c Analysi and M^hine TЙ»? >W,Mcn<>"s on ***** DX‘Si L‘- «Reco^tructie L l я ’ л ♦ эд Tehnici dc reconstrucție D din imagini multiple a treia cameră este introdusă pentru a elimina colțurile false, cele ale căror imagini nu se regăsesc în toate cele trei camere în figura este ilustrat sistemul stereo format din camera din stânga și camera centrală a sistemului trinocular din fig In continuare vom nota cu f distanța focală a camerelor și cu Bh distanța dintre centrele camerelor, presupuse cunoscute în urma calibrării sistemului stereo Coordonatele D al punctului P(X YSZ) din scena D în funcție dc imaginile sale din camera din danga Pi(xj,yi), respectiv camerei centrale Рс(хс,Ус)> ținând seama că yi = yc, suni: ( ) F;g Sistem trinocular de camere (după Takezawa, lierarh și Dissanayake \ Satoshi Takezawa, Mudiyanscln >c llefath, Gamini DksanayaKe, „SL AM in indooi environments with stereo vision” în Proceedln&s of International Conference on Inteligent Robots and Systems, (IROS ), voi , pp - Fig Calculul adâncimii scenei utilizând sistemul stereo orizontal din configurația trinoculară din fig (după Saeedi, Lawrence, Lowe ) Evident coordonatele D ale trăsăturilor sunt în sistemul euclidian OXYZ al sistemului stereo (fig ) în cursul procesului de urmărire acestea, pentru fiecare poziție a robotului, sunt transferate în sistemul de referință extern considerat ca fiind sistemul robotului (totuna cu sistemul euclidian OXYZ) în prima poziție, așa cum este figurat mai jos lotodată coordonatele D sunt elementele unei baze de date, care în plus păstrează informații privind numărul de cadre si care anume sunt acestea, cadre în care caracteristica respectivă este vizibilă în imaginile sistemului trinocular Așa cum s-a spus mai sus vom detalia modul în care perechile stabilite inițial sunt triate prin metoda minimizăm disparități lor Demonstrațiile vor fi făcute pentru ■ аГ'“ « Sis,eme sisKlM s,c,eu din inul înnocuMf, pentru cl inii nai ea ambiguităților, Con iderăm mai întâi cazul general a n camere având centrele P ui așa tel încât axele lor optice sunt Parvaneh Saeedi, Peter ) Lawrence іші n i ,, n , ж Natural Environincnt" în Proceedings of the Q JFPT i lolion ' of a Mobile Robot in a A(j Automation, ICRA , pp - G ~ International ‘ Masatoshi Okutomi, Такео Kanade, „a nn ltiple-baseline stern” ' - AnafySiS and Machine Intelligence (pAM ), vo(, l ( ) n aliniate orizontal la distantele В n * ( onference on Robotics and în IEEE Transactions on Pattern ■ Tehnici de reconstrucție D din imagini multiple perpendiculare pe dreapta centrelor camerelor Notăm cu f (x) și ff(x) imaginile in camerele Po și P ale aceluiași punct Z al scenei D, a cănii adâncime o vom nota cu z Fie drți) diferența dintre coordonatele x ale imaginilor punctului Z Așa cum s-a arătat mai sus relația dintre coordonata z a punctului Z și distanța Bj dintre centrele B, camerelor P și P , considerând camerele calibrate este: dl(l) =f—L, unde f este * distanța focală a primei camere Vom modela nivelele de gri f (x) și f/x) ale imaginilor aceluiași punct din spațiu potrivit formulelor: f (x) = f(x) + n (x) fi(x) = f(x-dr(i)) + ni(x) unde n (x), n/x) reprezintă zgomot alb gaussian: n (x),n](x)~ N( ,( ^) re id m mt ru tul ina ’ w ' >w Fig, Traiectoria robotului Se definește suina pătratelor diferențelor pentru o fereastra W centrată în poziția x a pixeiului de intensitate f (x) pentru posibila disparitate d( a pixeiului pereche din a doua imagine ca fiind; ed(i) U d (i))= Z (f<> (x + “ ?i (x + d ti) + j))’ jeW Valoarea medie a lui ed(i)(x d(i)) este; florin ROTARII, silvio imuinariu, simona l'ESCARU Г ) r JrW JeW (I) ur( (O utd) I г LJaW * E X(f(x+j)“f(X + d(D "d'(D JoW n unde N este numărul pixelilor din fereastra W Este evident că funcția e w а(і)Ѵлл*О) va avea valoarea minimă pentru d(j) =dr(ip adică în pixelul din a doua imagine având disparitatea reală dr(j) Presupunând că in cele două imagini în jurul pixelilor x și x+a exista aceeași configurație de nivele de gri, adică f (x + j) = f(x - j + a), j e W, vom avea: \ d(i) VK’~r(j) ’ — w~n în această situație vom avea o falsă pereche a pixelului x având, în imaginea a doua, disparitatea d r(j) + a = B,fg In continuare vom nota cu g inversul distanței z, g = — Avem: d(i)=Bif ІЯ°™ aednd je w n ) ea Ele ( }f adedem°nstrează că- e?O )(x,g)]> Nwn =Er ca- ° aha amibiguitate ѵя г L i(, > 'X’Sr J Pentru orice - * -a, and XTr ' r°“'™ă " fe," îni C(l, FLORIN ROTARU SILVIU ni'IINARKJ, simona I’ESCARU ( ) unde hși suni mediile nivelelor de gri din cele două vecinătăți MxM De obicei ММ , Se calculează criteriul ( ) utilizând candidați pereche pentru colțul curent din prima imagine dintr-o fereastra de căutare de dimensiune x în cea de a doua imagine centrată în jurul pixeiului de aceleași coordonate cu colțul curent din prima imagine Pentru eliminarea zgomotelor stabilirea perechilor se face aplicând criteriul ( ) atât pornind de la imaginea precedentă și căutând într-o fereastră x în jurul poziției caracteristicii curente în imaginea curentă cât și inversând ordinea celor două imagini Se aleg corespondențele care au valori maxime locale aproximativ egale în ambele sensuri Odată stabilite corespondențele se determină, cum se va vedea mai jos, transformata euclidiană dintre sistemele robotului în poziția curentă și pozit a precedentă Utilizând această primă estimare a transformatei euclidiene caracteristicile D din baza de date sunt proiectate apoi în imaginea curentă Se stabilesc iarăși perechile de corespondențe de data această însă pentru ferestre de căutare de - pixeli și se calculează din nou transformata euclidiană care ar suprapune corespundențele in imagini cât mai exact Transformata euclidiană finală în pasul respectiv rezultă din corecția primei transformate folosind-o pe cea calculată în pasul doi Estimarea mișcării: calculul poziției robotului în sistemul de referință extern Estimai ea deplasării robotului este un proces iterativ care calcmează transfoimarca euclidiană (rotații și translații) a sistemului robotului în poziția, curentă “ raport cu sistemul robotului în poziția precedentă Vectorul de mișcare al care trebuie robotului f Dx>l>y?Dz) c-ste vectorul translației originiii sistemului robotului ^sternul robotului în poziția precedentă iar ap к wnului roboiului în noua poziție față de : unde în raport cu (X sunt unghiurile de rotație ale rnknti biJî • Dy>D« unghiurile fiind aceleași ca și în cazul precedent, adică (ХрОС^сц De notat că translația pe axa Z își păstrează semnificația din cazul clasic, Relația dintre t din ( ) și DX?DV, )Z este dată de: David G Lowe, „Fitling Parameterlzed Three-Dinwnslona! Models to Inmes” în IEEE rantactions on / altern Analysis and Machine intelligence (TPAMl) voi ( ), , pp - , I I ■ * Tehnici de reconstrucție D din imagini multiple ( ) T —R P* + Pz) РУ(Z Pz) n L f ’ f ’ z Avantajul acestei parametrizări constă în faptul că derivatele coordonatelor X| Y,, Zj deci și ale imaginilor x{, у { sunt extrem de simple în raport cu unghiurile de rotație De exemplu, derivata lui Xj in raport cu a , unghiul de rotație în jurul axei Z, este - Yj Aceasta rezultă din făptui că: unde r este distanța punctului față de axa Z Deci —- = -r sin oi, = -Y, da în tabelul de mai jos sunt date toate derivatele coordonatelor Xi raport cu unghiurile de rotație X Zi a -Zi a Zi a Xj Tabelul Derivatele coordonatelor Xt, Yi, Zj în raport cu unghiurile de rotați CC j cc ? cx Calculul derivatelor coordonatelor din imagine ale punctelor este destul dc simplu De exemplu, din ( ) rezultă: fXi хі X z X « Din tabelul : r Deci: — = fc(Z + сл{ , unde U în tabelul următor sunt figurate imagine x^iy/m funcție de parametrii de calculai DoDy D > Zj +D, derivatele parțiale ale coordonatelor din (X Din acestea se construiește iacobianul Revenirea la formula (Г ) se face aplicând ( ) o I •t florin rotaru, silviu bejinariu, simona pescaru g | -fcY, I fcX, Tabelul Derivatele parțiale ale coordonatelor din imagine în funcție de translații și unghiurile de rotație Așa cum s-a spus mai sus folosind această primă estimare a transformatei euclidiene caracteristicile D din baza de date sunt proiectate apoi în imaginea curentă Se stabilesc iarăși perechile de corespondențe de data această însă pentru ferestre de căutare reduse, de - pixeli și se calculează din nou transformata euclidiană care ar suprapune corespondențele in imagini cât mai exact ransformata euclidiană finală în pasul respectiv rezultă din corecția primei transformate folosind-o pe cea calculată în pasul doi în etapa a doua, de rafinare a transformatei euclidene care indică poziția robotului în poziția curentă în raport cu poziția precedentă se memorează erorile dintre proiecțiile în imaginea curentă a coordonatelor D ale trăsăturilor și corespondențele lor din imaginea curentă adică: începând cu a patra iterație sunt eliminate perechile pentru care eroarea +Ey este semnificativă și procesul continuă cu restul corespondențelor La sfârșitul procesului iterativ poziția robotului este memorată în baza de date I otodată se reține și poziția trăsăturilor din imaginea curentă Baza de date este de asemenea actualizată în sensul incrementării contorului de vizibilitate ale tuturor trăsăturilor vizibile în imaginea curentă, decrementării contorului trăsăturilor a căror proiecție este în afara imaginii curente și eliminării trăsăturilor invizibile în ultimele cinci poziții ale robotului J Corecția poziției robotului și a coordonatelor D ale trasaturilor scenei I entru a contracara erorile de măsurare ale caracteristicilor scenei și de localizare a robotului, deci dc trasare a traiectoriei lui, se fololsesc filtre Kalman I iecarei tiăsături active din baza de date i se asociază un filtru Kalman De asemenea, un alt filtru Kalman este folosit pentru corecția poziției robotului Filtrul Kalman folosit pentru rafinarea poziției sistemului stereo (robotului) este: ) Tehnici de reconstrucție D din Imagini multiple ( ) ( ) Xfc*] — FXk I ^k zk = HXk + nk poziția к a robotului, F este o matrice constantă x definită de Saeedi, Lawrence și Lowe “, ^kși Hksunt vectorii zgomotelor aferente sistemului și observațiilor, H este o matrice x de forma | N | cu matrice unitate x și N matrice nulă x Predicția filtrului este: X(k + k) = FX(k | k) ( ) Notând cu P(k este: k) matricea de covarianță a procesului covariar ța piedicile P(k + l|k) = FP(k|k)F* + Q(k) ( ) unde Q este o matrice x constantă determinată experimental, asociată zgomotului procesului Predicția măsurătorilor este dată de: > z(k + к) = HX(k + |k) ( ) Noua poziție a robotului, XLS, se obține actualizând vechea poziție X ’ Parvanch Saeedi, Peter I) Lawrence, David G Lowe, „Vision-based -D tnyectory tracking for unknown environments” în IEEE Transactions on Robotics, feb , voi , pp - FI R N ROTARU SILVIU BEJINARIU, SIMONA PESCARU P( ) = Var(X ) P(k + |k) = FP(k|k)F' +Q(k) W(k + ) = P(k + k)H* [нР(к + k)H* + RLS ] ’ P(k+ к + ) = P(k + k) - W(k + l)HP(k + k) X(k + k) = FX(k | k) z(k + l|k) = HX(k + l|k) X(k + к + ) = X(k + k) + W(k + )(XLS - z(k + k)) Așa cum s-a spus câte un filtru Kalman este asociat și fiecărei trăsături statice din scena reala, trăsătură activă în procesul stabilirii traiectoriei adică vizibilă în imaginea curentă Filtrul asociat trăsăturii w(X,Y,Z) este descris de ecuațiile: v — С V unde Ck exprimă incertitudinea estimării coordonatelor trăsăturii w(X,Y,Z), kk este câștigul filtrului, bk reprezintă coordonatele D rezultate din măsurătorile din ima- gine iar V este covarianta erorilor О к > Concluzii Capitolul este o sinteză a principalelor tehnici de reconstrucție din imagini multiple ale unor obiecte în mișcare, tehnici prezentate în literatura de specialitate Sunt discutate mai întâi cele mai performante tehnici de reconstrucție afină din imagini obținute în principal prin proiecție ortografică Se pornește de la analiza mișcării unui singur corp rigid, după care studiul este extins la analiza mișcării unui număr necunoscut de obiecte rigide în ceea ce privește reconstrucția proiectiva studiul se rezumă la analiza mișcării unui singur corp rigid în ultima parte este prezentată o aplicație de urmărire a unui robot mobil, pornind de la lucrarea „Mobile Robot Localization and Mapping with Uncertainty using Scale-Invaiiant Visual Landmarks " Stephcn Se, David G Lowe, James J Utile, „Mobile Robot Lacalization and Mapping with Uncertainty using Scale-Invarlant Visual Landmarks” în International Journal of Robotic Research, voi ( ), , pp - Tehnici de reconstrucție ) din imagini multiple Bibliografie Christian Banz, Sebastian llesselbatlh, Holgcr Flatt Holgcr Bhime, Peter Pirsch, Kcal tim e ( ,/) -minimalitate d(JJ> = d(JJYd\l n = d(K H -simetric J(Z A) P V ADRIAN CIOBANU к Jffieieii' color hisiograri indexin- for quadratic form distance funcționa IEI I Irans Pattern Analysis and Michinc Intelligence, voi , pp - , Metode de analiză și extragere a caracteristicilor esențiale din imaginile digitale distanțe minime, din care se alege cea mai marc, după care se ia fiecare culoare din C se găsește culoarea din Cz cea mai apropiata și se formează un al doilea set de distanțe minime, din care se alege din nou cea mai mare, la sfârșit selectândn-se cea mai mare valoare din aceste două distanțe parțial alese) O ultimă considerație referitoare la utilizarea histogramelor pentru calculul indecșilor de culoare: chiar dacă ar fi rezolvate problemele reliefate mai sus, problema alegerii optime a numărului de componente ale unei histograme rămâne nerezolvată Oricât de bună ar fi o anumită alegere, împărțirea plajei totale a histogramei în elemente mai mici va produce efectele nedorite ale oricărei cuantificări Algoritmul centrului de greutate a culorilor (Chromatic barycenter algorithm)[Shiuh-sheng Yu, ] Centrul de greutate al culorilor pentru o regiune dintr-o imagine este media valorii componentelor de culoare ale pixelilor din acea regiune De exemplu în spațiul RGB, dacă avem o regiune perfect verde, centrul de greutate al culorilor pentru această regiune va fi ( , , ) Se poate defini o măsură a similarității s dintre două regiuni în funcție de distanța d dintre centrele lor de greutate a culorilor: s(d)= A&c&d T unde Tj este stabilit în funcție de sensibilitatea ochiului uman, de exemplu / din mărimea spațiului de culoare (adică din numărul de nivele de gri luate în considerare pentru fiecare componentă de culoare), iar T poate fi un parametru de precizie, de exemplu / din mărimea spațiului de culoare Este clar că nu putem compara două imagini doar pe baza unui singur centru de greutate al culorilor De aceea imaginile sunt împărțite într-un număr de sub-regiuni, se calculează similaritățile dintre regiunile corespondente alo celor două imagini, de exemplu A și B și se face media acestora: Sim(A Z?) = — V (А, В)) unde (U) ( ) Shiuh-sheng Yu, Jinn Rong Liou, Wcn-Chin Chcn, Computațional Simtlarity Based on Chromatic Barycenter Algorithm'\ IEEE Transactions on Consumer I lectronics, voi , nr , mai ADRIAN CIOBANU iar C/ și C/fî sunt centrele de greutate a culorilor ale regiunilor cu număr de ordine i din imaginile A și B în [Shiuh-sheng Yu, ] se arată că regiunile de x pixeli pot fi luate în considerare ca o variantă practică pentru acest algoritm în plus, există variante care pot compensa distorsiunile de culoare, diferențele de rezoluție între imagini și deplasarea culorilor S-au obținut valori foarte bune pentru rata de recunoaștere și pentru precizia recunoașterii în plus, algoritmul se poate aplica și pe componenta continuă a imaginilor de tip JPEG, ceea ce înseamnă că acestea nu mai trebuie decodate complet Aceasta deoarece componenta continuă a coeficienților DCT reprezintă chiar centrul de greutate al culorilor , Momente de culoare Ideea folosirii momentelor pentru caracterizarea distribuției culorilor într-o imagine digitală vine din teoria probabilității în care se știe că distribuția de probabilitate este caracterizată în mod unic de momentele sale, respectiv de momentele sale centrale [Stricker, ] Astfel, având în vedere că putem interpreta distribuția de culoare dintr-o imagine ca și distribuție de probabilitate, rezultă că putem caracteriza distribuția de culoare cu ajutorul momentelor De exemplu, în cazul unei imagini RGB, separăm mai întâi planele de culoare R, G și B, și calculăm apoi în fiecare plan momentele de gradul , și Momentul de gradul reprezintă media și deci astfel se pot determina nivelele medii de roșu, verde și albastru, care luate ca triplet ne vor da culoarea medie a imaginii digitale Momentul de gradul reprezintă varianța sau deviația standard, în timp ce momentul de gradul reprezintă asimetria Pentru cazul general al unei imagini care poate fi separată în c planuri de culoare, iar pentru fiecare plan de culoare i avem valori ale pixelilor j (j=l N) notate cu atunci avem următoarele valori pentru momentele de gradul , și [Stricker, ] : și se poate lua în considerare o măsură de similaritate de tipul: тот /=] ( ) ( ) d n cazul a două imagini A și B, fiecare conținând N pixeli Ponderile au fost introduse pentru a permite ajustarea similarității în funcție de specificul aplicațiilor la Shiuh-sheng Yu, Jinn-Rong Liou, Wen-Chin Chen, „Computațional Similari у Based on Chromat'c Barycenler Algoriihm”, IEEE Transactions on Consumer Electronics, voh , nr , mai Stricker M,, Orengo, M , „Slmilarlty of color Images”, Proc SP I Storage ind Retiieval of Image and Video III, San Jose, CA, USA, , pp - Stricker, M , Orengo, M , „Slmllarlty of color images”, Proc SP E: Storage and Retrieval of Image and Video III, San Jose, CA, USA, , pp, - I Metode de analiză și extragere a caracteristicilor esențiale din imaginile digitale I I care este întrebuințată această metodă Spre exemplu, dacă se știe apriori că toate «l imaginile an fost realizate în aceleași condiții dc iluminare, putem penaliza * diferențele de culoare medie prin considerarea unor ponderi юц mai mari decât wi și I respectiv ■ Funcția dniom este doar o măsură de similaritate deoarece s-au luat în ț considerare doar o mică parte dintre momentele distribuției de culoare și deci este foarte posibil ca două distribuții de culoare diferite să aibă aceleași momente de grad i , și și să rezulte r/ww,= Imaginea proprie (Eigen image sau Eigen vectors) o i-le ia le Este o metodă foarte populară pentru discriminarea obiectelor de același tip și a fost utilizată mult Ia recunoașterea fețelor sub denumirea de Eigen faces Practic, metoda face o proiecție a imaginii dintr-un spațiu cu mai multe dimensiuni într-un spațiu cu mai puține dimensiuni, ceea ce conduce la obținerea unor vectori proprii care realizează compactarea trăsăturilor unice ale imaginilor Acești vectori proprii sunt apoi comparați unii cu alții în baza de date de imagini și se pot regăsi astfel imagini similare înainte de a extrage vectorii proprii dintr-o imagine, este necesar ca aceasta să fie preprocesată, ceea ce include următoarele operațiuni: scăderea rezoluției imaginii de la la ori, decuparea precisă din imagine a obiectului de analizat (de exemplu un tablou dintr-o expoziție), identificarea unor puncte importante din imagine (cum ar fi colțurile unui tablou), transformarea de perspectivă a imaginii (cum ar fi cazul unui tablou fotografiat dintr-o parte și care trebuie adus în imagine ca și cum ar fi fotografiat perfect din față) Toate aceste preprocesări sunt necesare pentru că metoda este foarte sensibilă la diferențe de luminozitate și aspect existente intre imaginile comparate O ultimă procesare constă în scăderea valorii medii a intensității pixelilor din imagine din valoarea fiecărui pixel După această operație se generează o matrice S pe baza vectorilor de imagine f, câte unul pentru fiecare rând de pixeli din imagine r Imaginile proprii Se pot alege mai multe valori pentru distanțele de autocorelație zlx și Ay, iar seria rezultată de coeficienți de autocorelație poate fi considerată ca și vector de trăsături de textură pentru imaginea I Matrice de apar iții corelate [Sonka, Această metodă se bazează pe apariția repetată a unor configurații de nivele de gri care caracterizează textura în cazul texturilor fine, o astfel de configurație are o variație rapidă cu distanța, pe când în cazul texturilor mai grosiere, variația cu distanța este mai lentă Din nou luăm m considerare imaginea/descrisă ca rnai sus și Idem Sonka, Milan, Hlavac, Vaclav, Boyle, Roger, Jmage Processing, Analysis, and Machine Vision”, International Student Edition, Thomson» WrttxĂ’ de anaiisd ji eMtagere , aflați !a distanța d «tul de celălalt pe direcție țf > câteva exemple de astfel dc matrice, pentru cazurile simple ale direcțiilor coresptmrirtoane unghiurilor dc (direcția orizontală), ", * (direcția verticală) și *, exprimare formal: - / = , =gi,p,, = gij rvJgl g^cer^^d^j\{i j}\e (in^ny(nxn):(k-i = d,l-j = -d)'elic-i = - Ду sunt valorile medii: Px “ ^ ^ d ( №y S ^ /L P # ) ^ ) & & £ £l iar (F^ ar sunt deviațiile standard: Si Si Si Si Practic, utilizarea acestor matrice de apariții corelate se bazează pe determinarea valorilor componente ale acestor matrice pentru mai multe direcții și mai multe distanțe, după care sunt calculate cele șase mărimi compuse prezentate mai sus Se obține astfel o serie destul de mare de mărimi corelate care pot fi utilizate pentru compararea gradului de similaritate dintre imagini Metoda are însă dezavantaje mari în ceea ce privește volumul de calcul și cantitatea de memorie necesară pentru a duce la bun sfârșit toate calculele Se poate recurge însă la reducerea nivelelor de gri dintr-o imagine până la sau chiar , la adaptarea ferestrelor de aplicare în funcție de mărimea regiunilor omogene și, în plus, a fost dezvoltat un algoritm rapid de calcul al matricelor de apariții corelate Statistica muchiilor [Sonka, ] Pentru descrierea texturilor dintr-o imagine poate fi utilizată și distribuția sau frecvența muchiilor din acea imagine Pentru a detecta muchiile dintr-o imagine se pot folosi oricare dintre operatorii clasici, cum ar fi Roberts, Sobei, Prewitt, Canny etc O variantă mai simplă este calcularea unei funcții de tip gradient, dependentă de distanță, pentru descrierea texturii, gij(d)\ ij\d) Pij P(j+d}j + Pij P(i-d}j + Pij Pi(J+d) + Pij Această funcție este similară cu negativul funcției de autocorelație, prezentând un minim acolo unde funcția de autocorelație este maximă și un maxim acolo unde autocorelația este minimă [Sonka, ] Pentru aplicarea acestei metode se calculează funcția gjj(d) pentru toți pixelii dintr-o regiune texturată a unei imagini și pentru diferite distanțe \\ * ъ Există o scrie de proprietăți ale texturilor caic pot Гц de ademenea, derivate di i statistica de ordinul întâi (primele trei) sau doi (penultimele două) a distribuției muchiilor: a» granularitatea - dată de valoarea densității muchiilor detectate, Cu cât sunt mai multe muchii detectate într-o fereastră, cu atat textura esf iun fină, și viceversa; Ix contrastul - texturile cu contrastul mărit suni caracterizat© dc dimensiuni mari ale muchiilor; c diversitatea - gradul dc diversitate a muchiilor măsurat ca entropie a histogramei dimensiunilor muchiilor; d dirccti vita tea — măsurată ca și entropie a histogramei direcților muchiilor Texturile care au anumite direcții mai pronunțate au un num ii semnificativ și pai de vârfuri, în timp ce texturile fără directivitate an aceasta histogramă mai uniformă; e liniaritatea - indicată de existența unor perechi de muchii cu aceeași direcție, poziționate una în continuarea celeilalte, la diferite distanțe; periodicitatea - indicată de existența unor perechi de muchii cu aceeași direcție sau de direcție contrară, poziționate în paralel una față de alta, la diferite distant, dimensiunea Trăsăturile Tamura [Tamura, ] n Tamura și Mori au propus în șase trăsături de textură care corespund percepției vizuale umane: granularitatea, contrastul, direcțional itatea, liniiriraiea, regularitatea și rugozitatea După testarea acestor șase trăsături, primele tr Г(’, /) = M k(, + k~', j)-M k(i - к'}, j] și ( ) (/, j) = \Mk (z, j + *" j - M) ( ) c se mai parcurge încă o dată imaginea și pentru fiecare pixel (/,/) se alege ca valoare pentru granularitate valoarea к a mărimii vecinătății pentru care s-a calculat cea mai mare diferență la punctul , luând în considerare ambele direcții: argmax max ^= d^oriz vert ( ) Se poate face și o medie a granularității pentru toată imaginea, de genul zwg MxN M N /= y=l ( ) dar este mai util pentru vectorul de trăsături să avem o valoare a granularității pentru fiecare pixel din imagine Contrastul poate fi considerat o măsură a calității imaginii El este influențat de domeniul dinamic de nivele de gri prezente într-o imagine, de polarizarea distribuției de alb și negru în cadrul histogramei de nivele de gri, de tăria muchiilor și de frecvența de repetiție a modelelor în cadrul unei imagini Se calculează astfel: ( ) unde ( ) în care ц este momentul de ordinul patru pentru o imagine de M*N pixeli pentru care intensitatea medie a pixeiilot este /z și deviația standard este o, valoarea lui z fiind determinată experimental ca ’ză Pentru că ne interesează ca pentru fiecare pixel din imagine sa avem o mașină a contrastului, se aplică formulele de mai sus pentru o vecinătate de tipul I x în jurul fiecărui pixel blrecționalitatea nu este relevantă ca și direcție propriu-zisă, ci doar ca prezență în cadrul unei texturi (două texturi care diferă doar prin orientare sunt considerate a avea aceeași direcționalitate) Pentru a calcula direcționalitatea, se calculează mai întâi derivatele pe orizontală ( ,г/г) și pe verticală (Дpentru fiecare pixel din imagine Se poate realiza acest luciu prin convoluția imaginii cu următorii operatori de dimensiunea x : S I I Metode dc oihiliztt șl extragere a S“"‘ “XX eâdXor vectori de trăsături de textură pe baza cărora pot fi comparate imaginile și texturile între ele Dimensiunea fractală și lacunaritatea texturilor [Sonka, ОО ] Caracterizarea fractală a texturilor se bazează pe determinarea dimensiunii fractale și a lacunarității ca măsuri ale rugozității și granularității unei imagini cu nuanțe de gri Din punct de vedere topologic, o imagine de acest tip are J dimensiuni, două dimensiuni fiind spațiale, iar a treia dimensiune este constituită din \aloarea intensității la nivelul fiecărui pixel din imagine Dimensiunea fiactală D poate fî estimată din relația coeficientului H a lui Hurst: H = Td-D ( ) unde TD este dimensiunea topologică a unei imagini, care este egală cu Dacă notăm cu pij valoarea intensității imaginii în punctul (/,/), atunci parametrul H poate fi estimat din relația: е[(Др) ) = с (Аг)Я = c(Ar) /J ( ) unde E() este un operator expectanță, Ap = ptj - pkl este variația de intensitate de la pixelul (/,/) la pixelul (k,l), iar Ar = este distanța dintre acești pixeli Pentru a simplifica estimarea dimensiunii fractale este suficient să se utilizeze relația următoare: e(Ap)= /с(Аг) m care relația: ( ) д,=] • Revenind la notația cu H = — D și logaritmând se obține log Д/?) — log к + H log(Ar) ( ) Parametrul Я poate fi obținut prin utilizarea regresiei liniare a celor mai mici ne o JX WU T,in ,ante "urbei dif^ențelor de nivele de gri gd(k) în funcție de A n o,lv ă b fegantmica Pentru o imagine cu M*M pixeli a căror intensitate este / \ ЛУ-Аг-І pătrate /ty, avem: AV-A-l Л/- ( ) П care M(M-A-l), scara k variază de Ja ț q y După determinarea lin Я, se calculează ușor si /> Se rețin primele de momente polare (până la ordinul ) codificate pe biți, pentru a se ajunge la un vector de trăsături de de biți Un al treilea descriptor este bazat pe contur, mai precis pe spațiul scalar al curburii (CSS) în acest caz vectorul de trăsături este în medie de biți, dintre care biți pentru escentricitatea și circularitatea contururilor inițiale și finale, biți pentru Carson, Chad, Belongie, Sergc, Greenspan, Hayit, and Malik, Jitendra, „Blobworld: Image Segmentation using Expcctat ion-Maximizat ion and its Application to Image Querying”, IEEE Trans on Pattern Analysis and Machine Intelligence, voi , nr , august ADRIAN CIOBANU numărul de vârfuri din imaginea CSS, biți pentru înălțimea celui mai mare vârf și apoi câte biți pentru poziția celorlalte vârfuri , Cel de-al patrulea descriptor combină descriptori bidimensionali ai imaginilor aceluiași obiect tridimensional luate din diferite unghiuri Cazul Blobworld [Carson, ] Un exemplu foarte interesant de utilizare a formelor pentru regăsirea ginilor similare este sistemul Blobworld, bazat pe segmentarea imaginilor în regiuni care de multe ori corespund obiectelor din imagine Reprezentarea Blobworld a unei imagini este obținută în urma parcurgerii a trei etape: selecția unei scări potrivite pentru fiecare pixel din imagine și extragerea caracteristicilor de culoare, textură și poziție pentru acel pixel și la acea scară; gruparea pixelilor în regiuni prin modelarea distribuției trăsăturilor pixelilor cu o mixtură de curbe Gauss și utilizarea maximizării expectanței; fiecărei regiuni rezultate i se atașează o descriere globală a culorii și texturii acesteia, pentru a putea fi folosită în interogări în ceea ce privește caracteristicile de culoare, sistemul Blobworld folosește spațiul de culoare L*a*b*, datorită faptului că acesta este aproape uniform din punct de vedere perceptual, rezultând că distanțele euclidiene dintre coeficeinții (a,b) din același plan ab au semnificație de distanțe între culorile corespunzătoare Cu toate acestea, sistemul nu reține caracteristici de culoare sub forma unor vectori de trăsături, ci realizează doar o netezire a fiecărui plan L, a, și b pentru a obține o reducere a numărului de culori, ceea ce favorizează segmentarea imaginii în mai puține regiuni relativ compacte Se reține pentru fiecare pixel din imagine tripleta (L,a,b) care îi corespunde după netezire Pentru determinarea caracteristicilor de textură a fiecărui pixel din imagine se pune accentul pe stabilirea scalei la care se judecă această textură, având în vedere cât dc important este acest factor pentru acest tip de caracteristică Procedura de determinare a scalei este destul de complicată, bazată pe mărimea unei ferestre Gausiene în care se calculează și pentru care rezultă un gradient uniform al intensității pixelilor Determinarea scalei dc textură a unui pixel se realizează pe baza pjcpnetațîi locale a unei imagini numita polaritate, care este o măsură a gradului în cai v vectorii de gradient al intensității imaginii sunt îndreptați în același direcție într-o anumită vecinătate Prin inspectarea polarității, un pixel poate fi clasificat ca * * ’/■» i> « w ’ tcxiui ă ID sau D, sau aparținând unei regiuni uniforme, adică fără o textură anume Găsindu-se scala pentru care un pixel poate fi parte a uneia dintre cele trei tipuri de regiuni specificate astfel, se rețin apoi pentru fiecare pixel caracteristicile de textură denumite polaritate, anizotropie și contrast normalizat r La finalul acestor procesări, pentru fiecare pixel dintr-o imagine se obțin trei ^n Гѵ^і o Cde' ‘ÎTi •’a’|b!-tlUF netezire> irci parametri de textură și se mai includ in vectorul de trăsături al fiecărui pixel și Pozi|ia (x,y) a acestuia Rezultă un set Idem Metode de analiză si extragere a caracteristicilor esențiale din imaginile digitale foarte mare de parametri ( -dimensional) pentru o imagine, care este restrâns folosind algoritmul dc maximizare a expectanței (Expectation-Maximization) pentru deteiminarea parametrilor, cate maximizează asemănarea spațiului de caracteristici cu o mixtură de Gausiene K Acest algoritm ajută sistemul Blobworld să clasifice pixelii unei imagini pi in cinsteiizarc în regiuni cât mai reprezentative pentru acea imagine După ce fiecare pixel a fost inclus într-un anumit cluster, se trece la gruparea spațială a pixelilor care fac parte din fiecare cluster Se face mai întâi etichetarea pixelilor conform clusterelor de care aparțin, după care se aplică un algoritm de conectare a componentelor cu aceeași etichetă Se mai aplică și un pas de postprocesare pentru a demarca și alinia cât mai bine marginile regiunilor rezu tate întreaga operațiune de segmentare pentru o imagine durează însă relativ mult, de ordinul minutelor pentru o imagine și pe un PC de la nivelul anului , mult mai puțin acum, datorită progreselor obținute pe linia vitezei de calcul Evident că autor : au testat procesarea paralelă a imaginilor tot la nivelul anului Rezultatele practice prezentate de autori sunt interesante, reliefând faptul că acest tip de segmentare a imaginilor duce la determinarea unor regiuni din imagine reprezentând obiecte importante pentru asemănarea sau discriminarea lor față de alte imagini Se obțin și unele rezultate nedorite, cum ar fi împărțirea fundalului în mai uite regiuni, faptul că marginile regiunilor nu corespund perfect marginilor obiectelor din imagine sau chiar faptul că obiectele din imagine sunt ratate complet, sunt împărțite între regiuni diferite sau sunt alipite cu regiuni mai mari In ceea ce privește sistemul Blobworld de regăsire a imaginilor, o imagine de test nu este transmisă pur și simplu sistemului spre căutare de imagini similare, ci ir ai întâi este supusă algoritmului de segmentare și extragere de trăsături, rezultând o imagine segmentată care este prezentată utilizatorului Acesta poate apoi să selecteze o:n imagine regiunile care îl interesează dintre cele segmentate automat și poate de asemenea să stabilească importanța relativă a regiunilor alese, dacă simt mai multe Abia apoi se transmite din nou sistemului Blobworld comanda de căutare a imaginilor asemănătoare și se generează o listă de imagini asemănătoare pe baza distanțelor dintre regiunile de imagine selectate și regiunile imaginilor existente în baza de date Și rezultatele privitoare la imaginile regăsite atestă validitatea sistemului Blobworld și îl fac una din soluțiile interesante bazate pe analiza comparativă a regiuni or în care este segmentată o imagine, și nu direct pe baza unui vector de trăsături dc culoare sau textură Prețul acestui sistem este însă complexitatea calculelor recesare atât pentru segmentarea imaginii de test, căi și pentru segmentarea tuturor imaginilor din baza de date a unui astfel de sistem II i ADRIAN CIOBANI] Brevet dc invenție S U A |Vagnik, Interesant pentru acest studiu este brevetul de invenție nr , Metodă și aparatură pentru adnotarea automată a imaginilor” depus m Statele Unite ale Americii la de către Jay N Yagnik și atribuit Ia companiei Google Sistemul care face obiectul brevetului de invenție realizează citirea unei imagini, extragerea de trăsături caracteristice acestei imagini și identificarea unor alte imagini de pe Internet cu trăsături caracteristice similare In plus, sistemul găsește informațiile de tip text (cuvintele cheie) asociate imaginilor similare celei de intrare și face o intersecție a cuvintelor cheie pentru a produce textul care este asociat automat imaginii de intrare Sunt nu mai puțin de de submetode pentru care se pretinde dreptul de inventator și le vom comenta doar pe acelea care sunt strict pe tematica acestui capitol în primul rând, înainte de a extrage trăsăturile din imaginea de intrare, care poate fi o imagine propriu-zisă codată JPEG, GIF, BMP, TIFF etc sau poate fi la rândul ei extrasă dintr-o secvență video codată MPEG, sistemul împarte imaginea în mai multe blocuri dreptunghiulare Trăsăturile sunt extrase pentru fiecare bloc în parte și este prevăzută și situația în care există o serie de blocuri de mai multe dimensiuni, iar imaginea de intrare este împărțită succesiv în blocuri de aceeaș dimensiune până când se termină toate dimensiunile de blocuri din listă In acest caz sunt extrase trăsături pentru fiecare bloc și fiecare dimensiune Autorul se referă apoi la tipul de trăsături care sunt extrase din fiecare bloc de imagine, și anume trăsături de formă, culoare și textură Pentru trăsăturile de culoare se dau ca exemplu: histogramele de culoare, dispunerea histogramei de culoare și momentele de culoare între alte tehnici de procesare a imaginilor din care rezultă trăsături, autorul amintește transformata cosinus directă, analiza componente or principale și wavelet-urile Gabor De asemenea, este inclusă și metoda histogramelor de orientare a muchiilor Fiecare dintre aceste trăsături sunt extrase pentru fiecare bloc de imagine, b d ferite scări ale acestuia, și se creează un vector de trăsături complex cu toate aceste trăsături Folosirea blocurilor de imagine de dimensiune variabilă este necesară pentru a putea caracteriza imaginea de intrare la diferite scări de percepere a acesteia, favorizând atât evidențierea detaliilor, dar detectând și informații globale despre imagine Pentru a găsi imagini similare cu imaginea de intrare, sistemul dispune de o multitudine de imagini aflate fie în baze de imagini proprii, fie culese de pe Internet cărora h se aplică același algoritm de extragere a trăsăturilor, numai acestea fiind salvate într-o bază de date de trăsături Această bază de date de trăsături este apoi utilizată pent u a găsi imaginile similare pe principiul găsirii acelor imagini care au trăsăturile cat mai apropiate de imaginea de intrare, Amorul amintește că o metodă simp ă este de contorizare a numărului de trăsături similare sau identice, dar ™m t ° °snea l^°r tcluuu nuli CQ'nPlexe referitoare la distribuțiile cu mai mite variabile, cum ar fi distribuția Gausiană cu mai multe variabile , brevet de invenție Metode de analiză și extragere a caracteristicilor esențiale din imaginile digitale După ce au fost identificate o scrie de imagini similare, sistemul preia porțiunile dc text care sunt alăturate imaginii, dc exemplu în cazul imaginilor preluate din pagini de Internet Autorul se bazează pe presupunerea că textul alăturat unei imagini de pc Internet este cel mai probabil să fie relevant pentru imaginea respectivă Din aceste texte sunt extrase cuvinte cheie, care pot sau nu să fie relevante pentru imaginea respectivă Colecția de cuvinte cheie astfel obținută este îmbogățită suplimentar prin adăugarea unor sinonime pe baza unor dicționare tezaur incorporate în sistem- Pentru fiecare imagine similară cu cea de la intrare se găsește astfel câte un set de cuvinte cheie Ultimul pas constă în efectuarea unei intersecții a acestor seturi de cu inte cheie, pentru a le găsi pe cele care apar în toate seturile Cuvintele cheie rezultate după intersecție sunt atribuite imaginii de la intrare, fiind considerate ca o descriere a acesteia Concluzii S-au inventariat metode de generare a unor vectori de trăsături din iniagîn’Ie digitale, capabili să asigure regăsirea unor imagini asemănătoare în colecții mash e de imagini întrucât metodele de extragere a trăsăturilor bazate pe caracteristic de de culoare ale imaginilor digitale sunt cele mai directe, cele mai simple și cele mai p țin costisitoare din punct de vedere al timpului de calcul, cea mai mare parte a capitolului a fost consacrată acestora Ele au fost prezentate în ordine, de Ia ce e mai simple la cele mai complicate, împreună cu formulele de calcul aferente ș cu distanțele sau măsurile de similaritate adecvate fiecărei metode Deși prezintă numeroase avantaje de aplicativitate, vectorii de trăsături rezultați în urma analizei culorilor dintr-o imagine prezintă o limitare majoră, dată de imposibilitatea captări automate a informației semantice din imagine doar pe baza distribuției culori’or Acest decalaj semantic face ca să fie aproape imposibil de estimat chiar și pană !a ce procente maxime de regăsire a imaginilor similare se poate ajunge pe baza caracteristicilor de culoare Varianta controlului uman în acest caz nu este de folos, pentru că, pe de o parte omul nu poate estima foarte precis distribuția de culoare dintr-o imagine, iar pe de altă parte, în momentul în care unui o n i se prezintă o imagine, informația semantică este inconștient receptată Celelalte doua tipuri de trăsături, de textură și de formă» au fost tratate în mai j)uțin detaliu Deși metodele statistice de caracterizare a texturilor generează vectori de trăsături similari cu cei rezultați prin analiza culorilor» texturile nu sunt atât de utile în măsurarea asemănării dintre imagini, Texturile se referă la anumite regiuni din imagini, nu pot fi descrise foarte precis și, in plus, necesită și un timp de calcul mult mai mare Mai degrabă texturile ar putea fi utilizate într-un pas de rafinare a numărului de imagini similare regăsite pe baza trăsăturilor de culoare în fine, trăsăturile de formă sunt cele mai greu de determinat și de încapsulat în vectori de trăsături potriviți pentru sistemele de regăsire a imaginilor Formele poartă informație semantică și detectarea loi poate duce la descoperirea obiectelor dintr-o imagine și, într-un pas ulterior, la interpretarea imaginilor Principala metodă ADRIAN CIOBANU ■ t care necesită însă plin care se poate ajunge la detectarea formelor este segmentarea timpi și condiții de aplicare care ies din sfera sistemelor de regăsire automată a imaginilor similare Cu toate acestea, am trecut în revistă un sistem bazat pe caracteristicile de formă și cu care s-au obținut rezultate interesante la nivelul anului Studiul se încheie cu prezentarea sumată a unui brevet dc invenție atribuit companiei Google în și care se încadrează foarte bine în domeniul aflat în discuție Bibliografic Datta Ritencra, Joshi Dhiraj, Li, Jia and Wang, James Z„ „Image Retrieval: Ideas, Influences, and Trcnds of the New Age”, The Pennsylvania State University, ACM Computing Surveys, Voi , No , Article , Publication date: April Carson, Chad, Belongie, Serge, Greenspan, Hayit, and Malik, Jitendra, „Blobworld: Image Segmentation using Expectation-Maximization and its Application to Image Querying’, IEEE Trans on Pattern Analysis and Machine Intelligence, VoL , nr , august Eakins, John, Graham, Margaret, „J SC Technology Applications Programme Report # ”, University of Northumbria at Newcastle, October Gonzalez Rafael C , Woods, Richard E , „Digital Image Processing”, Prentice Hali, Upper Saddle River, NJ, Gonzalez, Rafael C , Woods, Richard E , and Eddins, Steven L , „Digital Image Processing usrig MATLAB”, Gatesmark Publishing, Hafner ’ Sauhney, H S , Esquitz, W , Flickner, M , Niblack, W , „Efficient color histograri indexing for quadratic form distance functions”, IEEE Trans Pattern Analysis and Machine Inteligente VoL , pp - , Pass, Greg Zabih, Ramin, Miller, Justin, „Comparing Images Using Color Coherence Vectc *s" В Computer Science Department, Corneli University, PralL Wilîiam K „Digital Image Processing”, John Wiley & Sons, Schetrini Raimondo , Ciocca, Gianluigi, Zuffi, Silvia, „Indexing and Retrieval in Colour Image Databases”, Chapter in Colour Image Science — Exploiting Digital Media, Editori Lîndsay W| MacDonald, M Ronnier Luo, John Wiley & Sons, England, , pp - Shiih- heng Yu, Jinn-Rong Liou, Wen-Chin Chen, „Computațional Similarity Based on Chromatri Bajycenter Algorithm”, IEEE Transactions on Consumer Electronics, VoL , nr , mai Sonka, Mîîaii, Hlavac, Vaclav, Boyle, Roger, „Image Processing, Analysis, and Machine Visîo ” International Student Edition, Thomson, Stricto, M , Orengo, M , „Similarity of color images”, Proc SPIE: Storage and Retrieval of Image ard Video , San Jose, CA, USA, , pp - fam fii, Mori, S„ Yamawaki, T„ „Tcxtural Features Corresponding to Visual PerceatioC IEEE Transaction on Systems, Мал, and Cybernelics, nr ( ), , pp - Vchktimp, R Cisco C„ Unasc, Mircla, „Conlent-Based Image Retrieval Systems: A Suivev, DeparuxKnt cf ( ’c mpui ing Science”, Utrecht University, Teehnical Report tJ(i-C S- - , October \ Yrgn i Jdy N,, „Mellrod and Appnnitus Гог Aummaticaily Annotuing Images”, brevet de in veni e S U A nr , , din noiembrie De la percepția viziuală către detecția automată a texturii M HAELA COSTIN , ANCA IGNAT ABSTRACT Modeling characteristics close to human and primate vision in order Neurosciences are revealing important aspects on vision from the cognitive po nt of view We are trying to formalise the modularity of the visual system in the attempt of automatic recognition of the surrounding environment Hierarchic processing of visual features in a similar manner as humans is a natural way of treating information upon its importance in the perception of the living beings Forms, colors and textures are among the most important features that are perceived at first glance Dual Tree Complex Wavelet Transform, DTCWT prove to be very reliable and sui table in detecting texture features Similarities among textures might be messured using apropriate distances An important number of trial and error essays on texture detection, by this new method, have been conducted We are describing them, reporting and discussing the results KEYWORDS: texture, vision, Dual Tree Complex Wavelet Transform, DTCWT Introducere - percepție vizuală - trăsături caracteristice Cu scopul de a formaliza și modela abilitățile vizuale umane și de a Ie transpune în programe care să coordoneze vederea artificială în special pem domeniul roboticii, este important să studiem din punct de vedere cognitiv metodele prin care putem furniza cea mai mare cantitate de informații sistemului Sistemul vizual uman include retina, cu receptorii sensibili pentru lumină, căile de transmitere a semnalelor nervoase și zonele de proiecție corticale Studiile neurocognitive au demostrat similaritatea unor module din sistemul vizual uman cu cel al primateloj și al altor mamifere Premiul Nobel in fiziologie și Mihaela Costin, Academia Romana filiala lași, studiu posbdoctoral în cadrul proiectului Societatea Bazată pe Cunoaștere - cercetări, dezbateri, perspective'*» cofînanțat do Uniunea Europeană și Guvernul României din Fondul Social European prin Programul Operațional Sectorial Dezvoltarea Resurselor Umane - , POSDRU , Anca Ignat, Facultatea de Informatică, Universitatea „Al i Cu? a'*, lași Niko Wilbert, Hierarchical Slow l'eature /Incdysls on l isual Stbnuli and l\p~Down Seconstruetion Doctoral thesis, Humboldt Univ , Berlin, htlp;//wwivdni rub de^EQPIJVwiskoțt/Reprmt$/Wilberb -PhDThesis pdf Michele Fabre-Thorpe, Arnaud Delorme et Ghislainc Rtchard, Singes et Hotnmes face au monde visuel: la Catâgorisation Primatologie, , * , MIHAELA COS VIN \N I nme, Il ins Super, Henk Spekreijso, ftorfeo ita/, a ’d ,'eedba k proassing ir ihe vleual cortex Current Oplnlon on Nțurobiology, , - , Lamme, Idem MWrle bbre-Thorpe, Arnau l Dulormu, Catherlno Mnrlot et Simon Thorpe A Urnit ta the stx-ed of SSSSÎ в'ЙЙ oJ "'wl ,MI furnal of ( ogM ive Micln le I We*Thorpe, Ghislaine Richard et Simon Thorpe, Rapid byrfțțsus топкую Neuroreporl, , - ( ) categorzaPon of natural itrag^s De Li perie p/ia ei iuată citire detecția automată a textui li Fig Ilustrarea cerințelor urnii sistem de adnotare automată a texturii Adnotarea bazată pe procesări proprii domeniului vederii artificiale po pentru + ", = pentru- ", pentru - ", = pentru- " Coeficienții furnizați de DTCWT sunt complecși - , ,— =F' + iU\ l — = , , " ,^ J J în calcule am lucrat cu amplitudinea (modulul) acestor coeficienți Pentru a putea compara imagini cu texturi, folosind coefiecienții obținu; prin calculul transformatei wavelet complexe cu arbore dublu, vom adapta și vom testa mai multe măsuri de similaritate sau distanțe Vom utiliza ca distanțe de lucru distanța matriceală Frobenius și cele generate de distanțele vectoriale city-block și max De asemenea, vom adap-măsurile de similaritate definite de cosinus și cea dată de coeficientul de corela; e Pearson Aceste măsuri sau j = asociați imaginilor pe care dorim să le comparăm distanțe sunt aplicate pentru toți coeficienții Fie A și ? două matrice de dimensiune m*n Pornind de la normele euclidiană, city-block și max putem defini următoarele distante matriceale: * / — , , i = , , , hi d (A,B) = max d t ( A Ji) = max Fiex și у doi vectori «-dimensionali Măsura de similaritate cosinus pentru vectorii v șiy este data dc lelațui unde prin ||-| am notat norma euclidian:! Coeficientul Je coerdape l'earson pentru don» variabile aleatoare Л și definește ca fiind: ' se h V,У) - соv( ¥ » ) Rui Xu, Donald ( , Wuibch H, ( hts^rbigt , Pr&ss/Wiley De la percepția viziuală către detecția automata a texturii unde prin СОѴ(Х,У) ani notat covarianța celor două variabile aleatoare X și Y iar ол- și Oy sunt abaterile standard ale lui A și respectivi Folosind aceste distanțe și transformata wavelet complexă cu arbore dublu, putem compara două imagini astfel: > M unde pi in J ani notai una din distanțele matriceale definite mai sus Se observă că aceste distanțe pot fi aplicate doar pentru imagini care au aceeași dimensiune Pentru măsurile de similaritate date de cosinus și dc coeficientul de corelație Pearson, definim măsuri de similaritate pentru imagini astfel cosBr (X, Y) = X £ ( - cos ( S' (X), $' (Y))) J= /= unde X și Y sunt imaginile pe care vrem să le comparăm iar ; Z = , ,Z, = , , ,б| și { '(F); Z = , ,Z, = , , , / sunt ел eficienții obținuți prin aplicarea transformatei wavelet complexă cu arbore dublu (DTCWT) asupra celor două imagini Aceste două distanțe sunt costisitoare din punct de vedere computațional și pot fi aplicate doar pentru imagini care au aceeași dimensiune Pentru a reduce din efortul computațional o variantă ar fi să se aplice aceste distanțe după ce imaginile au fost redimensionate la o dimensiune comună mai mică: cos^r (Х,У) = cosnr (resize(X,new dim), resize(F,new dim)) Această nouă definiție are avantajul suplimentar că aceste distanțe pot fi aplicate unor imagini de dimensiuni diferite Pentru a aplica măsura de similaritate cosinus definită mai sus pentru coeficienții matriceali considerați (cei obținuți prin aplicarea transformatei wavelet complexe cu arbore dublu}, am linearizat matricele respective în ordinea liniilor Pentru a testa eficacitatea distanțelor/măsurilor de asemănare a texturilor construite utilizând transformata wavelet complexă cu arbore dublu (PTCW T) a n folosit, în prima etapă, o bază de date de imagini împărțită pe clase de texturi \ Toate imaginile din bazele de date folosite sunt alb-negru și au dimensiunea /J și au fast scalate la intervalul Software-ul folosit în calcule care implementează transformata wavelet cu arbore dublu a fost descărcat de pe pagina Prof Ni?k Kingsbur/ Prima bază de date utilizată, notată cu T, conține Г clase de texturi: scoarță, cărămizi, perete, sticlă, blană, pietre, catifea, gresie, apă, covor, lemn și pled în fiecare din aceste clase avem câte de imagini du texturi Cele de elemente din Svetlana Lazcbnik, Cordelia Schmid, Jcan Ponce, A Sparse Texture Representation Usfrțg Local Affine Regions, IEEE I ransnclions on PaUcrn Anulyuis and Machine intelligence, voi , no , pp - , august , http://www-sigprocxng cam ac uk/-ngk/ MIHAELA COSTIN, ANCA IGNAT fiecare clasă sunt imagini ale aceleași texturi care a fost fotografiată din unghiuri diferite și la scale diferite, de asemenea la fotografiere au fost folosite diverse tipuri de iluminare Figura prezintă, spre exemplificare, câte imagini din fiecare clasă Scoarță A De Za percepția viziuaZă către detecția automată a texturii Perete w w • • Cărămizi Sticlă Blană MII Al I \ COSI IN ANC A IGNA I Pled Fig Baza de date de texturi T Pentru a testa cele cinci distanțe/măsuri de similaritate introduse, am rotit cu IC si ° prima imagine din fiecare clasă și apoi am aplicat aceste distanțe pentru а соттрига imaginilele rotite cu cele din baza de date Pentru fiecare imagine rotită, am caft d stanțele față de toate imaginile din baza de date, apoi am ordonat crescător aceste distanțe In tabelele de mai jos am trecut pentru fiecare imagine rotită clasele a : imagini din baza de date, acele imagini/clase care au furnizat distanțele cele mai m e : □ de imaginea rotită considerată hi Tabelul sunt trecute rezultatele acestor comparații folosind ce A c distanțe/măsuri de similaritate propuse pentru imaginile rotite cu ° iar în Tabel: sunt rezultatele acestor calcule pentru imaginile rotite cu ° Pentru imaginile rotite cu ° distanțele/măsurile de similaritate propuse aa nimerit clasa din care provenea imaginea rotită astfel: cu urinată do di și u , iar rezultatele mai puțin performante sunt obținute cu măsura dată de cosinus, eiy/VisionTextuie/ MIHAELA COST IN, ANCA IGNAT cosinus și coeficientul de corelație Pearson doar în cazul când s-a lucrat cu baza de date T redusă Textura Scoarțăl nu este clasificată corect de mciuna din distanțele cu care lucrăm atunci când utilizăm albumul Brodatz A doua textura (Scoarța ) este identificată corect de d^ d și în toate cazurile (indiferent de baza^ e imagini folosită) și în plus de în cazul bazei de date T redusă A treia textură (Scoarță ) este identificată corect de d^ d și drj atunci când a fost compaiată cu baza de date T completă și cea redusă în cazul bazei de date T cu un singur element în fîecaie clasă doar d și o clasifică bine Pentru albumul Brodatz, doar distanța d„ reușește să o identifice corect A patra textură (Scoarță ) este identificată corect doar pentru baza de date T completă, de distanțele d MIHAELA C ST N ANCA IGNAT Distante Tabel П Distanțele d^d , cosinus și corelația Pearson aplicate coeficienților dtcwt pentru prima textură din fiecare clasă rotită cu І ° comparată cu haza de date completă i ■ ■ ' ■ Scoarță Lemn Apă Gresie Pietre Perete Cărămizi Sticlă Covor Blană Catifea Pled Scoarță Pietre Scoarță Lemn Lemn Apă , Apă , Apă Apă Pietre Covor , Pietre , Blană , Pietre Blană , Apă , Apă , Apă , Cărămizi , Pietre Cărămizi Covor Covor Covor Gresie Gresie Pietre Apă Apă , Apă Catifea Catifea Catifea , Pled Cărămizi , Blană Scoarță Scoarță Scoarță Lemn Lemn Lemn Apă , Apă Apă Covor Covor , Pietre Blană Blană , Blană , Apă Apă Apă Cărămizi Blană Perete , Covor Covor Covor Gresie Gresie Gresie Apă Apă Apă Catifea Catifea , Catifea Pled Pled Blană Scoarță Gresie Cărămizi Lemn Lemn Lemn Apă Apă Apă Covor Covor Pietre Pietre Covor Pietre Apă Apă Apă Blană Pietre Cărămizi Covor , Covor Pietre Pietre Gresie , Cărămizi Apă , Apă Apă Catifea Catifea , Catifea Pled Pled , Blană COSpr Catifea Catifea Covor Catifea Catifea Catifea Catifea Apă Covor Catifea Cărămizi Catifea Catifea Catifea Scoarță Catifea Catifea Gresie Catifea Catifea , Covor Covor Catifea Catifea Catifea Catifea Covor Catifea Blană Catifea Catifea Catifea Catifea , Pled ~ Catifea Catifea Гцг Lemn Pled Catifea Lemn Pled Lemn Pled Sticlă Pled Sticlă , Pled Pled Blană Covor , Pled , Pled Pled Perete Lemn Catifea Apă , Sticlă Sticlă Catifea Blană Blană Pled Blană Blană Sticlă Apă Lemn I Pled Perete I De la percepția viziuală către detecția automată a texturii Tabel Distanțe le d { d ? dcosinus și corelația Pearson aplicate coeficienților dtcwt pentru pi ima textw ă dinfiecai e clasă rotită cu ° comparată cu baza de date redusă Distante Scoarță Sco Lemn Apă Gresie Pietre Perete Cărămizi Sticlă Catifea Covor Blană Pled Blană Pled Blană C Pled Apă Catifea Covor Lemn Lemn Lemn Covor Catifea Scoarță Scoarță Cărămizi Scoarță Cărămizi Scoarță Lemn Lemn Lemn , Apă Apă , Scoarță Cărămizi ă Lemn Lemn Lemn Apă Apă COSdt l"DT Catifea ' Pled Covor Pietre Pietre Covor Pietre Covor Covor Pietre , Covor Scoarță Catifea Catifea Catifea Catifea Catifea , Catifea Apă Catifea , Catifea Scoarță Covor Scoarță Pled Catifea Lemn Pled Catifea Apă Pled Perete Cărămizi Scoarță Perete Pietre , Pietre , Covor Apă Apă Apă Pietre Pietre Cărămizi Pietre Pietre Covor , Covor Gresie Pietre Blană Blană Blană Catifea Catifea Catifea Perete Cărămizi Pietre Covor Blană Apă Apă Apă Pietre Perete Pietre Pietre Pietre Covor Covor Cărămizi Cărămizi Blană Apă Blană Catifea Catifea Catifea Pled Pietre Blană Covor Apă Apă Apă Pietre Pietre Cărămizi Pietre Gresie Covor Cărămizi Covor Cărămizi Blană Blană Blană Catifea Catifea Catifea Catifea Scoarță Catifea Covor Catifea Catifea Catifea Catifea Covor Covor Sticlă Perete Pled Pled Perete Lemn Catifea Sticlă Sticlă , Lemn , Scoarță Perete Pled Perete Pled Pled , Perete ( Pled Catifea Blană Catifea Catifea Catifea Catifea Catifea Pled Catifea Lemn Pled Pled >r Scoarță [ Scoarță Scoarță Scoarță Catifea , Pled , Scoarță Scoarță >(> Scoarță o Scoarță Cai dea Cărămizi Cărămizi Covor Catifea Lemn Lemn Lemn , Lemn Lemn Lemn Catifea Lemn , [ I emn , Lemn CatifeaS^K Catifea Lemn Lemn Lemn Catifea Catifea , Apă Apă Apă Apă Catifea Apă Apă Apă Apă , Covor Pled Л | Apă Apă Apă Secaiță Pled Gresie Pietre Covor Covor Catifea Pietre Pietre Covor Covor Scoarță Cărămizi Pietre Pietre Covor Covor Blană Pietre Pietre Pietre Pietre Catifea Blană Pietre Blană Covor , Scoarță Pled Blană Pietre Pietre Catifea Catifea Perete Apă Apă Apă Catifea Pled |Apă Apă Apă Covor Perete Apă Apă Apă Covor Perete ; Cărămizi Pietre Pietre Gresie Catifea Apă Cărămizi Pietre Pietre Catifea Pled Pietre Perete Pietre Catifea Lemn Sticlă Pietre Pietre Gresie Catifea Sticlă Pietre Pietre Covor Catifea Sticlă | | Gresie Covor Pietre Catifea Lemn Covor Gresie Cărămizi Cărămizi Catifea Scoarță Pietre Covor Gresie Catifea Apă Cărămizi Cărămizi Cărămizi Catifea Catifea Blană Apă Apă Blană Catifea Blană ~ Apă Apă Apă Blană Blană Apă Apă Blană Catifea Pled Catifea Catifea Catifea Catifea Catifea , Pled Catifea Catifea Catifea Catifea Pled Catifea Catifea Catifea Catifea Blană Pled Pled / Pled Pled Pled , Pled Cărămizi Pled Pled Catifea Perete Pietre Cărămizi Perete , Covor Pled CS De la pet cepția viziuală către detecția automată a texturii labei V Distanțele d{, d , dcosinus și corelația Pearson aplicate coeficienților dtcwt pentru prima textura din fiecare clasă rotită cu ° comparată cu haza de date cu o singură imagine în fiecare clasă D i stanțe a d OS})p i'dt Scoarță Scoarță Scoarță , Scoarță Scoarță Scoarța Gresie Pietre Gresie Catifea Pietre Pietre , Gresie Pietre Gresie Lemn Lemn Lemn Lemn , Lemn Catifea Lemn Pietre Catifea Catifea , Lemn Catifea Catifea Apă Pietre Pietre Pled Apă Apă Apă Apă Apă Apă , Blană Blană Pietre Catifea Pled Pietre Pietre Blană Gresie Blană Gresie Pietre , Pietre Pietre Scoarță Pled Gresie Gresie Gresie Pietre Cărămizi Cărămizi Blană Blană Covor Perete Pietre Pietre Pietre Pietre Catifea Gresie Blană Blană Blană Scoarță Lemn Apă Apă Gresie Cărămizi Blană Perete Apă Apă Apă Catifea Lemn Blană Perete Perete Pietre Perete Pietre Blană Pietre Covor Pled LII Cărămizi Pietre Pietre Pietre Catifea Apă Cărămizi Gresie Gresie Gresie Lemn Gresie Cărămizi Blană Pietre Pled Sticlă Pietre Pietre Pietre Cărămizi Sticlă Gresie Sticlă Gresie Catifea Apă Blană Gresie Sticlă Pietre Blană Covor Pietre Pietre Scoarță Catifea Catifea | Gresie Gresie Gresie Covor Pled Covor Covor Pietre Pietre Scoarță Blană Blană Blană Blană Blană Blană Apă Apă Apă Catifea Apă Pietre Pietre Pietre Covor Pietre | Catifea Catifea Catifea Catifea Catifea Catifea Pietre Lemn Lemn Covor Pled Gresie Scoarță Scoarță Cărămizi | Covor Pled Blană Pietre Pietre Pled Pled Gresie , Blană Pled Scoarță Catifea Catifea Apă Pled , Apă ~| Gresie \ tiu Al \ COSTIN \ \ IGN \ I labe XII d^d^dcvsinUsși corelația Pearson aplicate coeficienților dtcwt pentru imagini diverse comparate cu albumul Brodatz r V v- S % % % % COSDT % % % % Пэг % % % % Concluzii Mături de estimarea formei și luarea în consideție a culorii, calculul texturii C' iarbă iână, lemn, nisip, paie, piele, piele de porc, rafie, scoarță, spumă și к —cu utilizai ea bazei de date \ istex, am restrâns gama variată de eșantioane, ș am făcut comparații între eficacitatea metodelor utilizate Cdkuhil texturii se dovedește a fi deosebit de laborios și consumator de reșuist ți timp, dar se dovedește în anumite cazuri a fi deosebit de util Cercetarea imț atâcontinuă pentru a detecta procedura de evaluare a texturilor din imaginile sau тѵѵТяіг i e f e°J j num®r cre?te veriginor, și pentru care sunt necesare ptoccdurile automate de indexare, de adnotare Bibliografie °°ѵег pubusations’New ТЛ**ProceMins ofComplex Natural ‘ «ш / athways; t Neurocomp » - - , Л?Г De la pei cepția viziuală către detecția automată a texturii la Catigorisafol, Prhnatolog'c ’ T/bl ^R’Chard’'Hommesface au monde viiuel: ?elor,me; Catherinc Marlot et Simon ThorPe-A lMI tr>the sPeed °f Neuroscience, , - , Categ°maUon of novel natural scenes- of Cognitive Michele Fabre-Thorpe^Ghislaine Richard etSimon Thorpe, Rapid categorization of natural images by rhesus wcw^,Neuroreport, , - ( ) Denis Fize, Maxime Cauchoix, and Michdle Fabre-Thorpe, Humans and monkeys share visual represcmations, I sychological and Cognitive Sciences, PNAS, Proceedings of the National Academy of Sciences, U S A, May , ( ), pp - Michal Haindl , Stanislav Mikes, Texture Segmentation Benchmark, Proc of the th Int Conf on Pattern Recognition IEEE Computer Soeiety, , pp - Jean-Michel Hupe, Andrew C James, Bertram R Payne, Stephen G Lombcr, Pascal Girard, & Jean Bullier, Cor tic al feedback improves discrimination between figure and background by VI, V and V neurons Nature, , - , Victor Lamme, Hans Super, Henk Spekreijse, Feedforward, horizontal, andfeedbackprocessing in the visual cortex Current Opinion on Neurobiology, , - , Yan Liu, Rufin Vogels, and Guy A Orban, Convergence of Depth from Texture and Depth from Disparity in Macaque Inferior Temporal Cortex, The Journal of Neuroscience, Behavioral/Systems/Cognitive, ( ): — , April/ / Svetlana Lazebnik, Cordelia Schmid, Jean Ponce - A Sparse Texture Representation Using Local Afine Regions, IEEE Trans on Pattern Analysis and Machine Intelligence, voi , no, , pp - , Marc J -M Mace, Arnaud Delorme, Ghislaine Richard, Michele Fabre-Thorpe, Spotting animals in natural scenes: efficiency of humans and monkeys at very low contrasts, Animal Cognition May , Volume , Issue , pp - Bartlett W Mei, SEEMORE: Combining color, shape, and texture histogramming in a neurally inspired approach to visual object recognition, Neural Comp , - , Jerry D Nguyenkim, Gregory C DeAngelis, Disparity-based coding of threedimensional rirfi ee orientation by macaque middle temporal neurons J Neurosc : — , Ivan W Selesnick, Richard G Baraniuk, and Nick G Kingsbury, The Dual-Tree Complex Wavelet Transform, IEEE Sign Proc Mag , voi , no , pp - , Nov Simon Thorpe; Denis Fize; Catherine Marlot, Nature, „Șpeed of processing in the human visual systcrF Nature, Jun ; ( ): - Russel L De Valois & Karen K De Valois, Spațial Vision, Oxford Univ Press N Niko Wilbert, Hierarchical Slow Feature Analysis on Visual Stimuli and Top-Down Reconstrucaon, http://www ini rub de/PEOPLE/wiskott/Reprints/VVilbci t- -PhDThesis pdf, I )oCor t termen „i-mediat” în locul celui de „realitate” deoarece dorim să eliminăm implicațiile ontologice pe care le are ca cel din urmă I mediatul este ceea ce intră în contact direct primXdumifStre dC mt § РѲ baZă CftrUirt consm,ieSu imaginea peceptivă și reprezentarea Pei ccpție, reprezentare și limitele posibilităților de cunoaștere nPrPcAn!rweSte ? pTOnaii,atea celui care Pre,a mesajul Atunci când ne referim la Ln i aVCm VCl Cre întreg comP,exul bio-psiho-social, incluzând atât j tognilivc cat și pe cele de ordin afectiv și organic Personalitatea individului se proiectează asupra imaginii determinând vana|ii ale acesteia De aceea putem vorbi despre imagini ale lumii individualizate Acești factori creează o imagine perceptivă diferită de la individ la individ, iar procesul perceptiv nu este un pioces static, ci dimpotrivă unul dinamic și interactiv Fig Reprezentarea posibilitățiilor de cunoaștere perceptivă Pornind de la modelul cutiei negre (black box) folosit de behavioriști pentru reprezentarea procesului cognitiv considerăm că singurul element ferm cunoscut este unul subiectiv, și nu comportamental: propria imagine, pe care o considerăm o reprezentare a realității Dar cât de diferite sunt imaginile individuale? Pot acestea să redea i-mediatul așa cum este el? Răspunsurile sunt diferite Ne putem pronunța așa cum o face în sinteză Mielu Zlate „Psihicul poate reproduce în sine, în interiorul său realitatea înconjurătoare așa cum este ea, dar și într-o formă modificată, așa încât realitatea din mintea omului să nu mai semene cu realitatea din afara minții lui Această perspectivă moderată care încercă să împace realismul cu o formă de subiectivismul perceptiv, poate fi o soluție prin care nu sunt negate nici posbilitâțile de eroare ale percepției dar nici capacitatea acesteia de a reda în contextul adecvat i-mediatul Astfel В reflectă A iar distorsiunile care pot să apară sunt doar accidente Modalitatea în care este folosită descrierea psihicului scoate în evidență faptul că imaginea perceptivă nu este efectul unei construcții mentale, ci ea redă realitatea, în anumite momente cu distorsiuni care au drept cauză componenta subiectivă Considerăm că această perspectivă apropiată de realismul clasic, care chiar dacă încearcă să rezolve problema erorilor de percepție, pe care nimeni nu le neagă, nu dă un răspuns în legătură cu proiecția imaginilor proprii asupra a ceea ce reprezintă imaginea perceptivă primară Ea are o tradiție îndelungată, iar empirismul epocii modeme, prin viziune lui Francis Bacon, o sintetizează perfect „Se poate spune chiar, în aceasta privință, că mintea este o oglindă care primește și reflectează razele lucrurilor, nu pe un plan unic, ci pe o mulțime de fațete așezate diferit, așa încât nu există nimeni care, datorită educației, studiilor și naturii sale proprii, să nu fie sub înrâurirea unei puteri ademenitoare și cu pradă unui dușman obișnuit care îl înșeală și îi tulbură mintea pi intr-o mulțime de aratări deșarte,”'' Mielu Zlate, Introducere în psihologie, Editura Polirom, lași , p F Bacon, Cugetări și observări în Despre înțelepciunea anticilor, Editura Științifică și Enciclopedică, București, , p DANGABRIRI SÎMBOTIN Metafora oglinzii care distorsioiicază a realitatea a fost ulterior mctamor-Uzată in cei patru idoli care surprind toate direcțiile cunoașterii omenești Cei patru idoli au fost divizați după următoarele criterii' cantitativ - omul ca particular (individul) și omul ca universal (societate) și calitativ (cultura) omul în stare naturală și cel cultural Făcând o sinteză a idolilor îi putem reprezenta astfel: Omul Individ Societate Natural Idolii tribului Idoliijorulul Cultural Idolii peșterii Idolii teatrului Sintetic, idolii tribului privesc individul cu puterile lui de cunoaștere, cei ai peșterii privesc persoana din perspectiva culturii sale proprii, idolii forului sunt idolii legăturilor dintre oameni, ai limitărilor comunicării în cadru] societății, iar cei ai teatrului privesc societatea prin consecințele sale culturale Acest exemplu arată că dacă preferăm varianta teoretică prin care В este o reproducere mai mult sau mai puțin fidelă a i-mediat-ului, atunci putem identifica o multitudine de elemente care intervin între în constituirea erorilor Din punctul nostru de vedere mai interesantă și cu un potențial explicativ mai ridicat este perspectiva dezvoltată de Christensen și Klivington Aceștia consideră că rolul creierului nu este acela de a filma realitatea, ci mai degrabă „o reconstituie și într-o oarecare măsură o și creează” Imaginea pe care o avem despre lume din perspectiva noastră nu constituie „realitatea” ca o redare fidelă a i-mediatului, ci o formă subiectivă de decodare a acesteia subiectivă Deoarece formarea imaginii generale începe de la ceea ce se poate numi simț comun care nu reprezintă realitatea într-un mod „obiectiv trebuie idnetificată sursa/sursele imaginii perceptive Dacă imaginea perceptivă nu reprezintă realitatea, ci este o construcție, ea aparține nivelului imaginar, ea existând doar ca imagine mentală și prin aceasta subiectivă De aceea trebuie să considerăm că imaginai ul este o formă integrantă a „realității” și „realitatea” formă integrantă a imaginarului Astfel, pentru susținerea acestei idei este necesar să identificăm daca imaginea senzorială repiezentarea are aceeași structură ca reprezentările mentale Imaginea formată prin senzații nu reprezintă un ansamblu holistic al spațiului înconjurător Ea este limitata, iar orice explicație exhaustivă a acesteia este o construcție subiectiva Ne construim propria lume prin forme de specifice de operare a propriului nostru creier: analiza, generalizarea, abstractizarea etc Imaginile generale asupra urmi sunt construcții proprii, dar este posibil ca realitatea să fie intr-adevăr așa cum o percepem? Sa fie lumea construită pe baza unor mecanisme care redau mediul asemenea unei oglinzi? Imaginea mentală este tot una cu acea parte din i-mediat pe йкопйігт^і ,eStef p S'b ?ă Proiectăm Propriul imaginar asupra realității mccnjuratoare ș astfel sa fim proprii constructori ai realității pe care o percepem? a percepției si cete leT m*JOr® imagin,le mentale ce se realizează ca urmare pe ccpției și cete ce nu mai au ca suport obiectul Pentru a ne susține punctul de , pp - / ’ercepfte, reprezentare și limitele posibilităților de cunoaștere vedeic vom descrie experimentul realizat de Pcrky în în fata unui ecran să-și l“rn'! T CentrU CXperi,nent;lt ™ o persoană ce trebuie й unrtoma,e * «^P^mentulu nu realizează nici o diferență, el declarând în continuare că loșia este imaginata Putem concluziona că nu există nici o diferență de substanță intre imaginea proiectată mental și cea receptată din exterior, f iind de aceeași natură este posibil sa existe o interrelaționare între imaginea cerebrală și cea recepționată Lipsa determinărilor radicale ne permite să afirmăm că imaginile mentale sunt de aceeași structură, sursa impulsului fiind diferită în cazul percepției energia ce deter-mină imaginea este exterioară, iar în cazul imaginației aceasta are drept sursă energia interioară Tiebuie, totuși, să lemarcăm că în acest experiment s-au folosit imagini foarte simple Oare imaginile mentale nu sunt asemănătoare celor reale doar în cazul imaginilor simple? Dacă în cazul imaginilor complexe asemănarea nu mai este valabilă? Pentru a realiza analiza imaginilor complexe vom interpreta două experimente realizate ulterior celui a lui Perky Primul este cel realizat de Shepard și Metzler , , în care pe un ecran erau prezentate diferite două figuri geometrice una lângă cealaltă Acestea reprezentau aceeași imagine în unghiuri diferite Era cronometrat timpul până când persoana asupra căreia era efectuat experimentul realiza diferențele dintre cele două figuri S-a observat că perioada de timp este direct proporțională cu unghiul de rotație al imaginii Comportamentul era de așa natură de parcă imaginile ar fi avut rigiditate fizică și o viteză de rotație măsurabilă Acest experiment arată că la nivel mental avem tendința de realiza aceleași mișcări cu deprinderile pe care le avem cu privire la lumea exerioară Pentru noi nu există diferențe foarte mari de structură între cele două tipuri de imagine Al doilea experiment realizat de Kosslyn în s-a concretizat cu niște concluzii asemănătoare celor prezentate anterior Experimentul consta în realizarea unei expediții imaginare Inițial subiectul este rugat să deseneze harta unei insule Ulterior, în lipsa hărții acesta este să-și imagineze că se alia pe plaja, iat experimentatorul îi cere să identifice anumite obiecte de pe insulă Este măsurat timpul necesar identificării, iar acesta este direct proporțional cu distanța dv la plajă la оЬчЛ de parcă persoana parcurgea în imaginație drumul până la obiect Harta mentala conținea aceleași informații ca și cea reală iar identificarea se realiza de parca obiectul era căutat pe o hartă reală Cele două experimente ne-au dus la concluzia ca imaginea mentală este asemănătoare celei reale, iar activitățile ce aparțin imaginației sunt ie același tip cu cele ce aparțin gândirii sau tdentificăru perceptive Diferențele dintre imaginație, percepție și alte procese cognmve nu sunt de esență, ci doar dezvoltate ne un fundament teoretic dilein w Oi «le precizate mai sus se poate concluziona că imaginea pemepnv» Ș cea imaginată au ^eeași structură Г Press, Cambridge, £ pX УП’ 'ma e andBra n’ Bradford> Cambrig£ Massachusetts , pp - I 'etcepțiet reprezentare și lintițele posibilităților de cunoaștere erau reconstituite pe baza imaginii ce se considera efi este cea inițială Această imagine putea fi identificată și pe baza direcționări verbale Aceste experimente au determinat o anumită perspectivă asupra imaginii perceptive sintetizată în legile gestaltiste ale percepției: „a) principiul proximității — elementele aflate in proximitatea spațială sunt grupate într-o singură unitate perceptivă: b) principiul similarității — elementele similare sunt grupate în aceeași unitate perceptivă, care e contrapusă altora; c) principiul buneicontinuări — la intersecția a două contururi ele sunt percepute după continuarea cea mai simplă; d) principiul închiderii - conturul ocluzat al unei figuri este închis după configurația sa vizibilă ” Atât experiențele descrise mai sus cât și legile gestaltiste pornesc de la ideea enunțată deja că percepția are tendința de a uni imaginea, creând o structură holistică Datorită acestei tendințe spre unificare, folosindu-ne de imaginile deja existente, subiectul devine un element important în a crea realitatea înconjurătoare Imaginea exteriorului este o construcție între ce are la bază relația subiectiv - obiectiv Putem afirma că relația dintre eu și mediu este una interactivă, omul preluând din mediu impulsul energetic, construiește imaginea sa mentală care este subiectivă Din acest punct de vedere putem considera în conformitate cu Ittelsoa că percepția este: „o tranzacție, un fel de interrelație sau schimb între organism și mediu, dar în care fiecare parte a situației intervine ca participant activ și își datorează existența tocmai acestei participări active ” Interacțiunea dintre mediu > subiect nu se manifestă în mod necesar prin modificarea mediului, dar imaginea percepută nu reprezintă preluarea identică a acestuia Unitatea dintre universul gnoseologic și cel perceptiv este foarte strâns, astfel încât imaginea perceptivă este formată pe baza celor două, neputându-se realiza o ruptură radicală în interiorul omului Imaginile umane sunt de același fel indiferent de sursa lor, iar imaginea despre lume este una și ea este parte integrantă a psihicului uman Aici am ajuns la problema larg dezbătută, pe la mijlocul secolului al XX-lea, a diferenței dintre cunoașterea specifică simțului comun și cea științifică Noi nu susținem că cele două de cunoaștere ar determina aceleași imagini, ci dimpotrivă construcția lor se iculi ea a în mod dif Psihol^a mec(Mor c°sni,ive’Editura Polirom, Iași, , p DAN GABRIEL SÎMBOTIN drept scop identificarea relației dintre imagine și cu vânt Dinți e acestea ci edem că cel mai reprezentativ este cel al psihologilor Carmichael, Hogan și Walter, Aceștia au prezentat la două la grupuri de subiecți o serie de imagini ambigue In cadrul primului grup imaginile au fost însoțite de diverse denumiri Tendința celor din grupul supus experimentului a fost de a recunoaște imaginea care le-a fost indusă de stimulul verbal Astfel datorită asociației ce se realiza între imagine și cuvânt acestea erau deformate în direcția cuvântului asociat De ce se realizează acest lucru? Explicația noastră este următoarea: cuvântul proiectează la nivelul mental al individului o imagine Această imagine este imaginea necesară pentru a dirija percepția așa cum am observat în experiențele anterioare Atunci când imaginea generală este considerată ca fiind cunoscută, atunci imaginea perceptivă se identifică cu aceasta în cadrul acestui experiment cuvântul joacă doar un rol de intermediar între imaginea mentală și cea perceptivă în cazul imaginilor duble putem percepe obiecte diferite uitându-ne la aceiași imagine pe baza unor criterii subiective Aceste imagini duble subliniază faptul că subiectul și proiectează propriile stări, propria structură cognitivă asupra imaginii pe care o percepe Percepția este un fenomen subiectiv, nu numai prin faptul că sistemul receptor este propriu fiecăruia ci, și prin faptul câ imaginea ce se formează la nivel mental este o sinteză între structura cognitiv afectivă proprie și elementele exterioare Datorită acestei relații ce există între cognitiv și perceptiv a apărut problema sistemului de imagini complexe care sunt specifice fiecărei persoane Urmărind sistemul cognitiv și modalitatea de activare a acestuia, am ajuns la concluzia unei conștientizări parțiale ale proceselor psihice „Fereastra atenției” este mult prea îngustă pentru a surprinde și susține activitatea cognitivă specifică fiecăruia Deprinderile sunt cele care operează în majoritatea acțiunilor omenești, conștientizarea acestor acțiuni fiind redusă sau chiar lipsind Același fenomen este întâlnit și în cazul percepției, deoarece imaginea percepută se realizează pe baza cunoștințelor deja existente, prin proiecția imaginii cerebrale asupra structurii mai mult sau mai puțin complete a imaginii percepute Mai mult înțelegerea și integrarea imaginii se face tot pe baza unor construcții deja existente O imaginea ce nu se integrează în acest sistem este percepută ca imagine dilematică, și neintegrată în sistemul imaginar propriu Am argumentat până în acest moment faptul că imaginea perceptivă este forinată prin intervenția structurii cognitive specifice fiecăruia Dar de ce apare aceasta implicare și de ce imaginea cognitivă nu este copia fidelă a realității? în primul rând pentru că există mai multe etape în trecerea dc la energia exterioară la imaginea noastră mentală , Puma dintre etape este cea care a fost numită image activation ^ (activarea imaginii) și consta ui două procese complementare în primul rând putem vorbi despre o reprezentare de suprafață proces ce determină formarea imaginii primare Aceasta reprezintă o schiță a imaginii ce urmează a fi percepută, în această lază fiind extrase contururi le, în același timp are loc și un proces de и Mielu Zhte Editura Polirom, Iași, p ^ePKnM-K^ ;QP Mircea Мкіеа, PsIhdogle cognilM, Ed Polirom, lași, , pp - si Jean’ PieChangeaux, L Нотте neuronal, Fayard, Paris, , pp , Ș I crcepție reprezentare și limitele posibilităților de cunoaștere profunzime in cate sunt activate imaginile comparative cu imaginea primara Pe baza acestei piocese se formează imaginea secundară, cea prin care conturul devine imagine de ansamblu » A doua etapă este cea denumita image inspcction ' (inspectarea imaginii) și este icprezentată de procesul prin care sunt surprinse detaliile imaginii, în această etapă intervin deja procesele cognitive pentru că o parte a detaliilor pot fi și construite A treia etapă constă în image maintenance^ (menținerea imaginii) și reprezintă procesul în care imaginea perceptivă este stabilă și recunoscută Procesul este complex și se realizează pe baza relației dintre cognitiv și perceptiv, Ultima etapă este image tvansformation^ (transformarea imaginii) și constă în transformarea imaginii pentru a putea fi integrată în complexul cognitiv propriu Această etapă este cea care determină construcția imaginarului ca imagine de ansamblu Fiecare dintre imaginile ce se integrează trebuie să fie compatibile cu imaginarul persoanei, altfel ele sunt marginalizate și se constituie în imaginarul marginal sau pur și simplu sunt eliminate din structura de imagine Aceste etape sunt necesare pentru a integra imaginile noi între celelalte imagini și a alcătui imaginarul unei persoane Fiecare dintre etape joacă rolul său in constituirea imaginarului perceptiv Dar majoritatea experimentelor descrise au avut drept punct de plecare imaginile simple statice Există aceleași procese și la nivelul imaginilor complexe? Dar ce reprezintă mișcarea și cum se formează ea la nivel mental? Pentru a răspunde la aceste întrebări un element care trebuie urmărit este reprezentat de percepția succesiunii Și în acest caz putem urmări intervenția subiectivului asupra “realității obiective'’ Tot la nivelul percepției mișcării și a succesiunii trebuie urmărită și problema percepției temporale Problema care apare aici este dacă percepția succesiunii reprezintă o formă a „realului” sau o construcție mentală Una dintre caracteristicile principale ale mișcării este datorată inerției imaginii Astfel imaginile statice ce se succed cu o viteză mai mare de / secunde dau senzația mișcării Această inerție a sistemului senzorial poate constitui sursa unor variații perceptuale astfel încât imagini statice pot să creeze o mișcare aparentă Astfel trebuie urmărită mișcarea din mai multe puncte de vedere Mielu ZLte realizează o clasificare a percepției mișcării identificând cinci tipuri de percepție: reală (când obiectul se mișcă dintr-un loc în altul); aparenta (când obiectul parc ca se mișcă chiar dacă este nemișcat); indusă (când obiectul este inclus sau langa un « к/ ,i pare a se mișca)’ autocineucă (când plivim un punct luminos întunecată fără alt punct de repei punctul respectiv pate în mișcare); “ im un obiect în mișcare, dacă urmărim altul și acesta va - • , tortTtipuri de percepție a misetoi araffl teudi ^ psihicului de a C[, , cortinăiU legături între elementele componente ale perceppo Aoeastd ten- obiect în mișcare și într-o cameră consecutiva (după ce urmărim părea în i Stephen M Kosslyn, op cit , p Idem, p Ihidem, p » ^namtive ikliuira Poli rom, Iași, I ,p I Mielu Zlate, Psihologia mecanismelor cognitn c DAN С»AURII I SÎMBO'I IN dință dc continuitate nu se bazează doar pe inerțialitatca sistemului senzorial ci și pe arată mtervi n|ia cognitivului în percepția mișcării impui subiectiv este tot o formă dc percepție a mișcării Acesta este reprezentat dc viteza aparentă dc mișcare, care se constituie sub forma unui raport dinție viteza dc acțiune proprie la un moment dat și viteza de acțiune medie In absența percepției mișcării nu ar exista timp, pentru că acesta este măsuță a mișcării Tot raportată la mișcare este și cauzalitatea Fără a exista mișcare nu putem identifica legături între obiecte evenimente, imagini O percepție flash ar constitui sursa unei lumi fără timp și relații cauzale Aceasta ar fi o lume ruptă un perpetuu moment prezent De asemenea fără ideea dc cauzalitate și temporalitate nu există o psihologie a mișcării Relația dintre cele percepția mișcării și timp este una de influență și susținere reciprocă, Totuși vorbind despre constituirea imaginarului perceptiv și despre modalitate de interrelaționare dintre imaginea cognitivă deja existentă și imaginea percepută se conturează problema modalităților de constituire a imaginarului existent Ce informații sau structuri informaționale deținem la naștere, ce învățăm și ce se află deja în noi reprezintă întrebările la care încercăm să răspundem în continuare Nu vom încerca și nici nu putem să rezolvăm acum problema surselor cunoașterii Totuși vom încerca să prezentăm modalitatea în care se formează imaginea despre lume a fiecărei persoane Problema aceasta poate fi analizată pornind de la psihologia genetică a lui Piaget Raportul dintre percepție și universul cognitiv este unul constructiv, ce se dezvoltă în timp El pornește de la o concepție empiristă pură eliminând ideea că la naștere ar exista orice formă de cunoaștere El consideră că nici măcar intuițiile apriori de spațiu și timp nu sunt specifice omului Jean Piaget consideră spațiul și timpul drept construcții pcrceptuale ce se realizează în copilărie „Abordând mai întâi structurile spațio-temporale, constatăm că la început nu există nici un spațiu unic, nici o ordine temporală, care să înglobeze obiectele și evenimentele așa cum recipientul înglobează conținutul său E dat doar un ansamblu de spații eterogene, toate centrate pe corpul propriu al copilului: spațiul bucal, spațiul tactil, vizual, auditiv, postura], precum și unele impresii temporale (așteptarea etc ) dar fără coordonăii obiective ” Acest spațiu și timp care se dezvoltă în interior vor fi exteriorizate odată cu alte elemente specifice Astfel realitatea obiectiva este o construcție subiectivă ce va fi obiectivată treptat, odată cu dezvoltarea copilului „Studiul inteligenței senzorio-motorii sau piactiuc din cinstii pi iniilor doi ani de dezvoltare ne-a arătat cum copilul, începând plin a asimila diiect mediul exterioi activității sale, construiește apoi, pentru a prelungi această asimilare, un număr tot mai mare de scheme, în același timp mai mobile și mai apte de a se coordona între ele ” Concepția genetică a lui Piaget conshtme o modalitate prin care putem urmări modalitățile de dezvoltare specifice imaginarului Constituiiea „inteligenței” se face treptat, învățarea se realizează gradual și prm aceasta imaginea despre lume se construiește pas cu pas Lumea în cai-> unu este o lume a subiectivității, imaginarul se construiește în interior prin іпт інр‘| Kani, ( ritlca Hațlunll pure, Editura IRl, Bucurați nn - eun РІнцсІ, Barbcl Inhckkr, Psihologia copilului, Editura bi’dacticft și Pedacoiică București P- I ' //'/б /с і^^іічііиціііч d ин te obligatoriu suficient suportul mediului social care proiectează o realitate naturală convenită» Dc aceea este posibil să considerăm percepția doar ca o construcții ,ubiec * \ lafivă în care fiecare dintre imaginile individuale ale noastre ale celorlalți își aduc aportul Făcând o sinteză a modului în care se formează imaginarului per- c a: \ a o gem л următoarele condurii Imaginea perceptivă este sinteza iman H v sen zorio-motorii și kinestezică Toate formele de percepție sunt diferite, ele apărând în funcție de distanță în momente diferite, dar sunt asamblate într-o singură imagine perceptivă Astfel psihicul intervine în a realiza o imagine de ansamblu a realității prin intermediul nivelului cognitiv care participă în mod activ la formare; acesteia Faptul că imaginarul nu trebuie redus la ideea dc imagine vizuală poate fi susținută prin modalitățile dc a percepe realitatea specifice orbilor Aceștia au o imaginație de ordin imagistic, chiar dacă nu au perceput niciodată o imagine vizuu’u Construcția lor s-a realizat într-un mod deformat, dar prin iniei mediul cdor-te’ e simțuri au reușii să-și construiască o imagine despre lume proprie Diferențele ; tre : mașini dintre un om normal și un orb nu sunt dc esență ci de acuratețe, ccta arată că imaginea este una dintre modalitățile fundamentale de operare ale s> amin ccgniti\ De fapt imaginea este considerată de către noi drept cărămida dt ■ • za a ps ticului uman ea fiind modalitatea de a transmite structura și crea cunoștințe Imaginarul se construiește pe baza imaginii perceptive Aceasta se formează menționarea subiect obiect ce are drept bază anumite cerințe de consuiupe Acestea ar putea fi sintetizate astfel: imaginea perceptivă este influențată de imaginarul deja existent al fiecă uia, construindu-se pe baza relației subiect - obiect Construcția imaginarului fiecăruia se realizează într-un nod treptat, natural, generându-se un ansamblu vital integrării spațio-sociale Orice modificare bruscă ă imaginarului determină stări de disconfort personal putându-se ajunge până la in afara, ca formă noi ia iiii iginc mciiuilă с г proiudaiA " Constituirea mentală a va realiza treaptă cu treaptă in funcție dc vârstă mintală a copiii сл med ul natural să fie în forma în caic сьіе pere*-put dc noi, este traume S Există tendința psihicului uman de a construi mai multă ordine chiar acolo unde aceasta nu există Aceasta determină o imapue unitară a cosmosului, iar acolo unde există inadvertențe acestea sunt adaptate ordinii personale sau imaginile sunt respinse Psih cui funcționează pe baza imaginii holistice, „interpretarea lumii jucând un rol foarte important în „ formarea” ei Idem, pdO DAN GABR EL SÎMBOTIN Percepția este un ansamblu realizat din imaginile vizuale, auditive și scnzoiio-motorii strâns legate între ele Ele se finalizează pi in intermediul unei imagini de ansamblu asupra i-mediatului Deoarece imaginarul constituie principala formă dc manifestate a univeisului cognitiv este necesar să urmărim și relația ce există intre pei sonalitatea umană ca ansamblu și imaginarul individual în loc de concluzii: eroarea perceptivă ca fundament al reproducerii imaginii Un rol important în dezvoltarea teoretică îl joacă reconstrucția și reproducerea imaginii Astfel, imaginea spațială prin transferul de la bidimensional la tridimensional se fundamentează pe modalitatea în care percepem unghiul si ima ginea holistică, respectând princiile gestatiste Pictura ca reprezentare a realității se fundamentează ca modalitate de reconstituire a vizualului pornind de la reflexiile luminoase și modalitatea în care acestea redau culorile, lumina și umbrele Vizualul este redat prin limintele pe care le are propriul nostru aparat receptor, și de aceea orice repoducere a imaginii trebuie speculeze aceste limite ibliografie Bacon Francis, Despre înțelepciunea anticilor, Editura Științifica și Enciclopedică, București, Bacon, Francis, Noul Organon, Editura Academiei, București, Changeaux, Jean Pierre, L Нотте neuronal, Fayard, Paris, Rock, John, The logic ofperception, M I T Press, Cambridge, Kosslyn, Stephen M , Image andBrain, Bradford Cambrige Massachusetts, Mici ca, Mircea, Psihologie cognitivă, Editura Polirom, Iași, Piaget, Jean Inhelder, Barbel, Psihologia copilului, Editura Didactică și Pedagogică, București Piaget, Jean, Constituirea realului la copil, Editura Didactică și Pedagogică, București Zlate, Mielu, Introducere în psihologie, Editura Polirom, Iași, Zlate, Mielu, Psihologia mecanismelor cognitive, Editura Polirom lași Index Algoritm - de factorizare, , -de formare a clusterelor, , , - Runge-Kutta, cameră afină, , , , clasificare, , , , , , , , , , contrast , , , corelația Pearson, , ' , , ' , , , , corelație, , , - , - , - , , , , , , , cuantificare , , , culoare, , , , , , , , , , , , , , , , , - , , - , , digital, , , , , , , distanța - cosinus, , - - de autocorelație, — euclidiană, , — F MD - Earih Mover Di stan ce, I - Hafiier, -Hamming, - Hausdorf, — matriceală Frobenius, - Manhattan, — normalizată, — pătratica, , — vectorială city-block, energia sonoră, energie, , , , , , , , entropie, extragere, , , , , , , , , , , , filtru Gauss, filtru Kalman, , fluorescentă, , , , , , formă, , , , , , , , , , - , , , , , , , , , - tractai, Fuzzy-C means, imaginar, , imagine, , - , , , , , , , , , , , , - , , , - , , , , , - , , , , , , , , - , , - , , , , , , - , - , - , , , , , - , imagini, , , , - , - , , , , , , - , , , , , , , , , , - , - , , , , - , - , , , , , , , , , , , , , - , , , , - , , , , - , - , ^S - ь , , ; * - , , imagistică*u , , , i-mcdiat, - , indexare \ - informații diegetice, laser excinter, luminanța medie mass spring, matrice de similaritate, - , metrica, , , momente , , , , muchii, , , multimedia, , , , mulii-rezoluție, , nanovision, , - , , , obiect, , , , , , , , , , - , , - , , , , , - , , , , - , , , oscilator armonic, percepție, , , , , , , , , , , pixel DOM pixel, , , , - , , , , , - , , , , , , - , , , , , , , - , , , - , - , probabilitate, , , , , , , , , procesare, , , - , proiecție ortografică, ; , reccnstrucțieSD, , , , reconstrucție afină, , , i econstrfcție proiec tivă , , ’ Ч^ге, , , , «gii'ni, , , , , , , ІЯ, - , I O , p ' , , - , , , Я robot mobil, , , scală, , , , scenă, , , , , , , , , , , , , segmentare, , , , , , , , , - , , , - , , , , semantic, , , similaritate, , , , , , , , , , , , , , , sistem de referință, , sistem trinocular, , standard, , , , , , , , , statistic, suprapunere, textură, , , , , , , - , - , - , - , , , - , transformare, , , , , , transformata - cosinus directă, -euclidiană, , -wavelet complexă, - wavelet continuă, trăsături, , , - , , , , , , , , , , , , , , , , , , - , , - vector , , , , , , , : , , , , , , , , vision, - , , , , S, , , , , - , , , , , , , , ( , , , І - , , , , , , , , CHO CdTe , i - Fermeni abreviat! % LACII, LCSS, LIN' ISI, COE CNN DOM - , DGPS, LPGA, MARCO, MFCC, MPEG, MPEG- , , MPFB, , , , DTCWT, , - , , O &M * DI W, , , DMLV, ELIPSE, EMD, EGA, EXA, FO, , FR, , FS, , GQD, GLR, GUI, HoG, HMM, IJA, , , IRIT, , - , , - , , , , - OMS, PCB, POL - PSD, - PPD, RSP, , SAMOVA, SIFT, , SIG, SM, SURF, e-SVR, TD-FLI, TR-CMOS, TRM, VP, UMPC, INC A, LAB, Note despre autori al Universității - Alexandru loan Silviu loan BEJ NARIU este absolvent al Facultății de Informatică informatică Teoretică Cuza” din lași în prezent lucrează ca cercetător științific in cadrul nsUtutu ui de^Informa ici Teoretică al Academiei Române Filiala lași și este doctorand in cadiu Șco и e ~ riinOa Иг Iй ;mag‘nІІ Г, ( Traitement et Comprehension d'lmages) din cadrul Institutului de mișirL’i autocahbrarea camerelor de luat vederi, detecția modificărilor și analiza SUd ‘ do toratAaLfvnȘicaa informatică de la Universitatea din Toulouse în Teza Universitatea Națională a Irlandei din Mavnooth INI iiJt i D Ste PW!doctorand !a * J-W „ „„'ЛД- WM—«e pe plMII computerizată, uuușcaza tehnici de vedere artificială RoTânTân w'Tobțnlt tifiul'Tdîtirî'^f “ ^xandru loan Cuza’, Iași, aproximarea problemelor de conîro ont n ™T'C’' în anul cu referitoare la ,- a avut o bursă postdoctoral Graz Austria, unde a continuat problemele studiate științifică din domeniul procesării de imagini, s-a transformatei waveiet in teza dc doctorat în ultimii ani, activitatea sa focalizat pe analiza de textură prin utilizarea Philippe JOLY profesor la Universitatea „Paul Sabatier” Toulouse, Franța, din , doctor din , în domeniul structurării automate a conținutului audiovizual A lucrat în Universitatea „Pierre et Mărie adi(ie M— Aefemlel MW рМ* acestuia în construcția imagmn despre lume, în generai, și а у f redactor șef al revistei „Logos & Episteme” și redactor al revistei „symposion ) і \А j ■) I іпаі ст II I Ш Л l \/л I ' [ ' , -Г- T? — ’”■* ' Л J L * гг г • / •• - ->' г l-KiNst спин : игь ■: - • I ■ х ’J I i "■ ‘ ЬіР я < ) сап </ } ulioo com S тгс и гит шш тип :п ■) ' ' Un € спі г , < ■ А Д И Л ■’ ' и'■ д https://neculaifantanaru com/calitatile-unui-lider html https://neculaifantanaru com/en/qualities-of-a-leader html